机器学习（二）逻辑回归

1.逻辑回归

逻辑回归是一种线性回归模型,它假设数据服从伯努力分布(二项分布,0-1分布),通过极大似然估计,运用梯度下降方法(牛顿法) 求解,进而达到二分类目的。逻辑回归与线性回归有很多相似之处，去除Sigmoid映射函数的话，逻辑回归算法就是一个线性回归。逻辑回归以线性回归理论作为支持。由于引入了Sigmoid函数，可以处理非线性问题，因此可以轻松处理0/1分布问题。

2.伯努利(Binomial)分布

伯努利分布又称为0-1分布、两点分布，通常对应事物的正反两面（成功与失败，是与否，正面与反面），指的是对于随机变量X有, 参数为p(0

　　其中上式的x只能取0或者1，1表示事件发生，0表示事件不发生。

3.Sigmoid函数与逻辑回归函数

　　Sigmoid函数公式如下:

　　这个公式有很多好的特性，g(z)函数值范围是(0,1)区间，当z取0时，值为0.5；远离0的地方，函数值很快接近0或者1。

　　逻辑回归函数形式如下：

　　上式也叫逻辑回归预测函数，预测在x,θ确定的情况下，y=1的概率，其中：

　　若预测y=0的概率，则：

　　为了更加方便的表示每个样本的概率，将y=0与y=1进行整合，得到下式：