Logistic回归是统计学中的经典分类方法,最大熵是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型,logistic回归模型与最大熵模型都是对数线性模型。
【Logistic回归-算法】
可参考博客
《统计学习方法》简述http://blog.csdn.net/BOBOyspa/article/details/78247157
讲解+代码
http://blog.csdn.net/zouxy09/article/details/20319673?locationNum=6&fps=1
基本讲解
如下图,logistic(逻辑斯谛)回归模型的引入、模型的参数估计(极大对数似然估计以及梯度下降法):
最终类别的判定
对于给定的样本x,利用二项逻辑斯蒂回归模型计算该样本类别为1和0的概率,然后,将样本x分类到概率较大的那一类。
将h=0.5作为一个阀值,当估计值大于0.5时把样本分为1类,估计值小于0.5时把样本分为0类。
*logistic回归 VS logistic回归:
logistic回归实际上就是对线性回归多增加了一个函数映射,使其值域由无穷区间映射到[0,1]区间。实现此功能需要在输出加一个logistic函数。