《machine learning》6逻辑回归

6.1 离散分类问题

线性回归算法不适用分类问题。

6.2 假设表示（方程）

逻辑函数（sigmoid函数）：$g(z)=\frac{1}{1+e^{-z}}$
逻辑回归假设函数：
$$h_{\theta }(x)=g({\Theta }^{T}x)=\frac{1}{1+e^{-{\Theta }^{T}x}}$$

h(x)指的是在给定参数$\Theta$的前提下，y=1（患病）的概率
条件概率：
$$h_{\theta }(x)=P(y=1|x;\Theta )$$

6.3 判定界限

若果$h(x)>=0.5$,判定会患病即"$y=1$"
反之$h(x)<0.5$,判定不会患病即"$y=0$"
又因为$h_{\theta }(x)=g({\Theta }^{T}x)=\frac{1}{1+e^{-{\Theta }^{T}x}}$。由图像可知:
当${\Theta }^{T}x>0$时，$h_{\theta }(x)=g({\Theta }^{T}x)>0.5$
当${\Theta }^{T}x<0$时，$h_{\theta }(x)=g({\Theta }^{T}x)<0.5$

假设函数：$h_{\theta }(x)=g({\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2)$
判定界限：${\Theta }^{T}x=0={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2$
下面的例子中判定界限：$-3+x_1+x_2=0$

通过构造高次多项式的判定边界函数可以获得复杂的判定边界：

6.4 损失函数

如果直接用线性回归中的损失函数，其中的
$$h(x)-y=g({\Theta }^{T}x)-y=\frac{1}{1+e^{-{\Theta }^{T}x}}-y$$
该损失函数不是凸函数，有很多局部最优解。不适用于逻辑回归。

使用对数函数作为损失函数。
下图所示将患病y=1作为预测前提，损失函数为$Cost(h_{\theta }(x),y)=-log(h_{\theta }(x))$。损失函数值越大，证明预测错了，其实是没患病，损失函数值很小，证明预测正确，确实患病了。

下图所示将没患病y=0预测前提，损失函数为$Cost(h_{\theta }(x),y)=-log(1-h_{\theta }(x))$。损失函数值越大，证明预测错了，其实是患病了，损失函数值很小，证明预测正确，确实没患病。

6.5 简化损失函数并求梯度

用一个函数表示y=1和y=0的两种情况：
$$Cost(h_{\theta }(x),y)=-ylog(h_{\theta }(x))-(1-y)log(1-h_{\theta }(x))$$

损失函数：
$$J(\Theta )=-\frac{1}{m}\sum _{i=1}^m[log{h}_{\theta }(x^{(i)})+(1-y^i)log(1-h_{\theta }(x^{(i)}))]$$
优化函数：求偏导数推得梯度函数：
$${\theta }_j:={\theta }_j-\alpha \sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}={\theta }_j-\alpha \sum _{i=1}^m(\frac{1}{1+e^{-{\Theta }^{T}x}}-y^{(i)})x^{(i)}$$
$$={\theta }_j-\alpha \sum _{i=1}^m(\frac{1}{1+e^{-({\theta }_0+{\theta }_1{x}_1+{\theta }_2(x_2{)}^2+\cdots +)}}-y^{(i)})x^{(i)}$$

6.6 高级优化函数

高级优化函数：

• 共轭梯度法
• BFGS
• L-BFGS
  优点：
• 不需要手动选择学习率$\alpha$
• 收敛速度远远快于梯度下降
  缺点：
• 更复杂

逻辑回归解决多类别分类问题

构造$C_n^2$个伪两类别分类问题