Logistic回归对于{0,1}分类有很好的效果;Logistic model 算是Generalized Linear Model中的一类。
本章目录:
sigmoid函数
p(y=1|x,w)>0.5预测y=1;否则预测y=0.下面两个图中的分类可以展示Logistic的魔力。
8.2 Model specification
p(y=1|x,w)可以看成一次试验的成功的概率,所以有下面的分布形式:
sigmoid函数在参数w是二维时的图像
=================================================
8.3 Model Fitting
本节讨论Logistic回归的参数估计
以下的推导使用了一些小技巧,另外Hessian阵是对称的,对f(w)不同分类wi,wj先后求导结果相同,故求Hessian阵时对g的转置求导亦得到正确结果。
注意:ui =p(y=1|xi,w) ;g=X'(u-y)中的y∈{0 1};
另外:
可以看到,不像线性回归,这时候,很难得到w的解析形式。故需要使用优化的手段来求解w的数值解。
数值解的部分,略去。过段时间<2013/01/10的样子>写篇《机器学习中的优化方法》,统一处理了。
8.3.4 迭代加权最小二乘
使用Newton公式:
算法8.2
计算Hessian阵可能是费时的,在优化的研究里面提出了共轭梯度等方法。
8.3.6 l2正则化<l2 regularization>
正则化在分类中很重要。
8.3.7 多类别Logistic回归<Multi-class logistic regression>
以上讨论都是binary logistic regression,以下讨论多类别回归。
参数估计等。
=================================================
8.4 Bayesian logistic regression
略。
8.5 Online learning and stochastic optimization
对于流数据需要使用在线学习在处理。在offline learning情况中如果data太大不能一次性装入内存,就可以使用online learning技术来学习。
略。
8.6 Generative vs discriminative classifiers
略。