请和我一起学习机器学习算法(逻辑回归)

为什么不用线性回归做分类问题

所谓逻辑回归就是用来分类的回归，所谓分类，就是我们希望预测的结果是离散的值，而不是连续的值。再线性回归的章节上，我们有讨论到对数几率回归。

为什么我们不用线性回归做分类问题呢？

如上图，如果我们对上面的肿瘤预测的分类问题做线性回归，可能会得到一条蓝色的线，我们以0.5作为阈值，当预测值大于0.5是表现为恶性肿瘤，到小鱼0.5时表现为良性，看起来一切都很完美，可以如果样本情况向下面这个情况呢？

由于出现一个点离同一个种类距离较远，在线性拟合的过程中，出现一些偏移，导致线性预测的效果变差，产生这个结果的原因是什么呢？

是因为我们的h(x)的预测结果，很可能远大于1，或者远远小于0，这导致，在拟合的过程中出现误差。
因此我们希望在分类结果就在0<x<1 内，因此我们引入了逻辑回归。

逻辑回归Sigmoid函数

我们通过逻辑函数，将预测值限制在0~1 之间
$$\begin{gathered} h_{\theta }(x)=g({\Theta }^{T}X) \\ g(z)=\frac{1}{1+e^{-z}} \end{gathered}$$
将预测函数代入可得

我们假设
$$\begin{gathered} y=1;if,h_{\theta }(x)\ge 0.5 \\ y=0;if,h_{\theta }(x)<0.5 \end{gathered}$$
考虑到g(z) 函数的特殊性，我们可以很容易的得到
$$\begin{gathered} y=1;whenever,z\ge 0 \\ y=0;whenever,z<0 \end{gathered}$$
值得注意的是，这里的逻辑回归可以是非线性的。比如下图所示样本

也许下面的非线性方程会更加适合次分类
$$h_{\theta }(x)=g(-1+x_1^2+x_2^2)$$
在使用逻辑回归的过程中，由于z=0作为我们判别的分界，我们将z=0称作为决策边界

逻辑回归的代价函数

在线性回归过程中，我们使用的代价函数是：
$$J({\theta }_0,{\theta }_1,...,{\theta }_n)=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }({\mathbf{x}}^i)-y^i{)}^2$$
也就是说我们可以把代价函数简写为：
$$cost(h_{\theta }({\mathbf{x}}^i),{\mathbf{y}}^i)=\frac{1}{2}(h_{\theta }({\mathbf{x}}^i)-y^i{)}^2$$
如果我们在逻辑回归中使用用相同的代价函数，因为sigmoid函数的引入，代价损失函数会出现非凸函数。我们无法使用梯度下降获得全局最优解。

为了使得代价函数是一个凸函数，我们需要重新定义代价函数，在逻辑回归中，我们通常使用下面的函数作为代价函数
$$\begin{gathered} cost(h_{\theta }(x),y)=-\log (h_{\theta }(x)),当y=1 \\ cost(h_{\theta }(x),y)=-\log (1-h_{\theta }(x)),当y=0 \end{gathered}$$

考虑，当h(x)预测值接近0，而实际的标签确实1的情况，取上面的代价函数，当预测结果接近于0，而实际结果为1，会产生一个巨大的代价。
同理，当h(x)预测值接近1，而实际的标签确实0的情况，取上面的代价函数，当预测结果接近于1，而实际结果为0，也会产生一个巨大的代价。

考虑到y 只有0、1两个值，则可以将上面的代价函数合起来写为：
$$cost(h_{\theta }(x),y)=-y\log (h_{\theta }(x))-(1-y)\log (1-h_{\theta }(x))$$

对于逻辑回归的代价函数则为：
J ( θ ) = 1 m ∑ i = 1 m c o s t ( h θ ( x ) , y ) J ( θ ) = − 1 m { ∑ i = 1 m [ y ( i ) log ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) ] } J(\theta)=\frac{1}{m}\sum_{i=1}^{m}cost(h_\theta(x),y) \\ J(\theta)=-\frac{1}{m}\{\sum_{i=1}^{m}[y^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))]\} J(θ)=m1​i=1∑m​cost(hθ​(x),y)J(θ)=−m1​{i=1∑m​[y(i)log(hθ​(x(i)))+(1−y(i))log(1−hθ​(x(i)))]}
NOTE: 这个代价函数实际上是根据统计学的极大似然函数中求得的，并且他是一个凸函数，我们可以通过梯度下降方法来获取最优解。

那么，我们就可以通过最优化代价函数的方式来获取最合适的参数
$$\underset{\theta }{\min }J(\theta )$$

逻辑回归的参数求解

考虑到我们获得的代价函数J是一个凸函数，我们通过梯度下降求解：
J ( θ ) = − 1 m { ∑ i = 1 m [ y ( i ) log ⁡ ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ⁡ ( 1 − h θ ( x ( i ) ) ) ] } J(\theta)=-\frac{1}{m}\{\sum_{i=1}^{m}[y^{(i)}\log(h_\theta(x^{(i)}))+(1-y^{(i)})\log(1-h_\theta(x^{(i)}))]\} J(θ)=−m1​{i=1∑m​[y(i)log(hθ​(x(i)))+(1−y(i))log(1−hθ​(x(i)))]}
梯度下降更新方式：
$${\theta }_j:={\theta }_j-\alpha \frac{\partial }{\partial {\theta }_j}J(\theta )$$
也就是：
$${\theta }_j:={\theta }_j-\alpha \sum _{i=1}^m(h_{\theta }(x^{(i)}-y^{(i)})x_j^{(i)})$$

如果你和我一起学习过线性回归的话，你会惊奇的发现逻辑回归的梯度下降和线性绘图的梯度下降的更新方式是完全一样的。 但你要知道的是这两个是不同的两个算法，尽管过程中梯度下降的公式完全一样，但是各个函数之间的定义已经完全不同了。

当然，使用特征缩放等相关的方法依旧能过加速参数收敛。

其他优化算法

• conjugate gradient (共轭梯度)
• BFGS
• L-BFGS

代价函数的推导

已知：$h_{\theta }(x)$表示$x$已知的情况下，y=1的概率$p(y=1|x,w)$。那么，y=0的概率为：$1-h_{\theta }(x)$。合写为：
$$p(y|x,w)={h_{\theta }(x)}^y(1-h_{\theta }(x){)}^{(1-y)}$$
现在要依据样本计算出最合适的参数 $w$, 则可使用极大似然估计法估计，样本出现的似然概率为：
$$L(w)=\prod _{i=1}^N{h_{\theta }(x_i)}^{y_i}(1-h_{\theta }(x_i){)}^{(1-y_i)}$$
取对数：
$$\ln L(w)=\sum _{i=1}^N(y_i\ln h_{\theta }(x_i)+(1-y_i)\ln (1-h_{\theta }(x_i)))$$
添加负号，则取最小值。

NOTE： 本文参考吴恩达机器学习，请勿用于商业用途，如有侵权，告知即删。