逻辑(logistic)回归模型---笔记

符合如下等式要求的为逻辑回归模型的分布函数和密度函数（至于为啥，我也不是很清楚，可能是具有这个分布的特征，然后就取了这个名字），其实我感觉逻辑回归和高斯模型挺像的。不过根据我的经验，二项逻辑回归很适合处理二分类问题。

二分类回归模型，主要就是Y只能取两个值，也就是0或者1。

1. logistic分类器是由一组权值系数组成的， 最关键的问题就是如何获取这组权值， 通过极大似然函数估计获得， 并且Y~f(x;w)。
2. 似然函数是统计模型中参数的函数。 给定输出x时， 关于参数θ的似然函数L(θ|x)（在数值上） 等于给定参数θ后变量X的概率： L(θ|x)=P(X=x|θ)
3. 似然函数的重要性不是它的取值， 而是当参数变化时概率密度函数到底是变大还是变小。极大似然函数： 似然函数取得最大值表示相应的参数能够使得统计模型最为合理。

多项式逻辑回归和二项逻辑回归模型类似，只是Y的取值多了而已，方法和二项逻辑回归类似。
其实逻辑回归模型和最大熵模型都可以用极大似然法或者对偶之后结合拉格朗日定理求解最大值类似，都是求解最可能的概率值。并且根据最大熵原理，概率分布越接近均匀分布，熵就最好，也就是概率等可能性。

注：本文的内容只是自己学习过程的一个总结，根据自己的学习感悟进行总结，以便自己日后好复习巩固，如有不对之处，敬请谅解，感谢李航老师的书籍和袁春老师的课件，让我学习到很多知识。

参考文献：

1. 统计学习方法 [M]. 李航，
2. 统计学习方法课件，袁春.