逻辑回归笔记

逻辑回归模型

逻辑回归假设数据服从伯努利分布，通过极大似然函数的方法，运用梯度下降来求解参数，来达到将数据二分类的目的。

伯努利分布

一个非常简单的试验是只有两个可能结果的试验，比如正面或反面，成功或失败，判断正确或错误。为方便起见，记这两个可能的结果为0和1，下面的定义就是建立在这类试验基础之上的。
如果随机变量X只取0和1两个值，并且相应的概率为：

则称随机变量X服从参数为p的伯努利分布，若令q=1一p，则X的概率函数可写
为：

要证明该概率函数 确实是公式所定义的伯努利分布，只要注意到 ，就很容易得证。
如果X服从参数为p的伯努利分布，则：


并且，

进而，X的矩母函数为：

需要用到的函数和模块

sigmoid()
函数公式：h(x) = 1 / (1+e(^-x))
使用Python中的numpy，matplotlib对该函数进行可视化。
中间范围内函数斜率最大，对应Y的大部分数值变化
Y轴数值范围在0~1之间
X轴数值范围没有限制，但当X大于一定数值后，Y无限趋近于1，而小于一定数值后，Y无限趋近于0
特别地，当X = 0时，Y = 0.5
[ Python数据科学 机器学习笔记:从零开始学会逻辑回归]

作者要去吃饭了，更不更的看心情咯~