ML实践——逻辑回归logistic regression

原理

从图中可以看出与perceptron的异同：

logistic regression model:

perceptron:

简单地说把Sigmoid function用作activation function。

$\phi(z) = \frac{1}{1+e^{-z}}$
$\phi(z) = z$

Advantages:
1. Sigmoid function的收敛性更好
2. 逻辑回归是用通过计算一件事情发生的概率来预测事件是否发生

cost function

具体公式推导参见：链接
为什么cost function不再用平方差，而是用对数损失函数？这个问题我纠结了好久，最终在这里
看到一句话

“而在已知模型和一定样本的情况下，估计模型的参数，在统计学中常用的是极大似然估计方法”

所以说，选择的cost function与模型是有一定关系的。我们的log-likelihood function是极大似然函数的对数，我们要取对数？
1. 好求导
2. 防止numerical underflow发生（就是超出编译器里数值表示范围）

log-likelihood function
l(w)=