原理
从图中可以看出与perceptron的异同:
logistic regression model:
perceptron:
简单地说把Sigmoid function用作activation function。
ϕ(z)=11+e−z
ϕ(z)=z
Advantages:
1. Sigmoid function的收敛性更好
2. 逻辑回归是用通过计算一件事情发生的概率来预测事件是否发生
cost function
具体公式推导参见:链接
为什么cost function不再用平方差,而是用对数损失函数?这个问题我纠结了好久,最终在这里
看到一句话
“而在已知模型和一定样本的情况下,估计模型的参数,在统计学中常用的是极大似然估计方法”
所以说,选择的cost function与模型是有一定关系的。我们的log-likelihood function是极大似然函数的对数,我们要取对数?
1. 好求导
2. 防止numerical underflow发生(就是超出编译器里数值表示范围)
log-likelihood function
l(w)=