logistic regression

一、logistic regression
 解决统计学中的分类问题，其分布函数为一条S形的曲线，该曲线以（u,1/2）中心对称，曲线在中心附近增长速度较快，两端增长速度较慢。

1. logistic regression model
 是一种分类模型，形式化的表示为条件概率分布 P(Y|X)，其中随机变量X取值为实数，随机变量Y的取值为1或0.

其主要思想即为比较两个条件概率的值得大小，将实例x分到条件概率值大的那一类，其中w参数通过监督学习的方法进行估计。

• 几率odds：该事件发生的概率与该事件不发生概率的比值。由式（1）转换可得（2）
  
  可以看出在logistic regression model中输出Y=1的对数几率是输入x的线性函数。其中线性函数的值越接近正无穷，概率值越接近1；线性函数值越接近服无穷，概率值越接近0。

2. 参数估计-极大似然估计
似然函数为：

其中假设：

可以看出当yi=0时，概率为P(Y=0|x)；当yi=1时，概率为P(Y=1|x)，始终为给定x的条件下得到y的概率。
最后问题转化为对数似然函数求极大值，从而得到w的估计值，通常的方法为梯度下降和拟牛顿法。

求解最优化博文收藏：
http://www.cnblogs.com/maybe2030/p/4751804.html