《机器学习实战》——logistic回归

一、逻辑斯蒂分布

对于一个二分类问题，即我们需要一个函数，使得该函数接受所有输入，然后输出0或者1。显然单位阶越函数能满足这个要求，然而该函数在跳跃点从0瞬间跳跃到1的过程很难处理，所以我们用另一个函数，它具有上述的输出0/1的性质，在数学上称为Sigmoid函数。Sigmoid函数的计算公式如下：

在逻辑斯蒂回归算法中，我们用的是属于Sigmodi函数中的逻辑斯蒂函数，逻辑斯蒂分布的定义为：设X是连续随机变量，X具有下列分布函数和密度函数：

函数图像可以表示为：

由上图可知，F(x)范围取[0,1]，并在x=0附件变化率最大。

二、二项逻辑斯蒂回归模型

二项逻辑斯蒂回归模型是一种分类模型，由条件概率分布P(Y|X)表示。其中，随机变量X取值为实数，随机变量Y取值1或0。我们已知X和Y之间满足线性关系：Y=w*X+b，或者可以简写成w=(w0,w1,...wn,b)T, X=(x1,x2,...xn,1)T, 这时可以写成：Y=w*X。这时，逻辑斯蒂回归模型可以表示为：

逻辑斯蒂回归分类就是通过比较上述两个概率的大小，来对实例x进行分类。

三、回归系数的计算

训练逻辑斯蒂函数，即计算函数中的系数w，采用极大似然估计的方法来估计模型中的参数w，计算过程如下：

三、梯度上升法

梯度上升法的思想是：要找到某函数的最大值，最好的方法是沿着该函数的梯度方向进行探寻。则函数f(x,y)的梯度可以表示为：

梯度只能表示移动的方向，所以还需要知道移动的大小，这个量称为步长，用α表示，则梯度的迭代公式为：

该式子一直被迭代，直到达到预设的迭代次数或达到某预定的误差范围内。