Andrew机器学习笔记2：逻辑回归 logistic regression

根据斯坦福大学Andrew NG的机器学习课程整理。

1.分类 classification

预测值y为离散值 :

$$y\in {0，1}\begin{cases} \text{0: negative class 负类} \\\text{1: positive class 正类}\end{cases}$$

2.Sigmoid function(S函数)

由于分类问题的输出值为0 or 1， 我们期望假设函数h的输出也能在（0，1）这个范围内，最好能够满足：

$$\begin{cases}h_\theta(x)\ge0.5&\Rightarrow y=1\\h_\theta(x)\lt0.5&\Rightarrow y=0\end{cases}$$
而S函数能够很好的满足这个性质：
$$g(x)={1\over 1+e^{-x}}$$

因此，逻辑回归的假设函数可以写成：
$$h_\theta(x)=g(\theta^Tx)={1\over 1+e^{-\theta^Tx}}$$
由S函数图像可知，当 $\theta^Tx\ge0$时，y=1，当 $\theta^Tx\lt0$时，y=0。

3.代价函数和梯度下降

线性回归代价函数：

$$J= {1\over 2m}{\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2}$$
将逻辑回归的假设函数h带入，得到的J非常复杂，并且包含多个局部最优解。

定义逻辑回归的代价函数为：
$$J(\theta)={-1\over m}\sum_{i=1}^m[y^{i}log(h_\theta(x^{(i)})+(1-y^{(i)})log(1-h_\theta(x^{(i)}))]$$
重写后的代价函数为凸函数，可以使用梯度下降算法求取 $\theta$
$$\theta_j=\theta_j-\alpha{\partial\over\partial \theta_j}J(\theta)=\theta_j-{\alpha\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$
梯度：
$${\partial\over\partial \theta_j}={1\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$

4.高级优化函数-fminunc

matlab包含高级函数，能够自动调用高级优化函数，不用设定学习率$\alpha$且计算速度比梯度下降快。

options = optimset('GradObj', 'on', 'MaxIter', 400);
[theta, cost,exit_flag] = ...
    fminunc(@(t)(costFunction(t, X, y)), initial_theta, options);

options：数据结构，存储想要的数据；GradObj on， 设置梯度目标函数打开，给算法提供一个梯度；MaxIter 400, 设置迭代次数为400次。
costFunction(t, X, y)：计算代价J、梯度
exit_flag：返回值为1时，表明模型已经收敛。

5.正则化（regularization）

过拟合（over fitting）
过拟合：当变量过多时，训练得到的假设函数h总能很好地拟合训练数据（代价函数J非常接近0），但无法泛化到新的数据样本中。
泛化：一个假设模型应用到新样本的能力。
解决办法：

• 一维or二维数据：绘制假设模型图像，研究问题所在，再选择适合的多项式。
• 多特征变量：
  
  1. 减少特征数量：人为检测哪些特征更重要，决定保留/舍弃某些特征；模型选择算法，自动选择采用哪些特征。
  2. 正则化：保留所有特征，减小$\theta_j$的数量级/值。

正则化（regularization）
正则化思路：对参数$\theta_0,\theta_1,...,\theta_n$取小值，会得到形式上更简单的假设（曲线更光滑）。

$$J(\theta)={1\over 2m}[\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})^2+\lambda\sum_{j=1}^n\theta_j^2$$
$\lambda\sum_{j=1}^n\theta_j^2$正规化项不包含 $\theta_0$
$\lambda$：控制前后两部分的平衡关系。（ $\lambda$过大，导致 $\theta$参数过小， $h_\theta=\theta_0$，欠拟合。）
线性回归正则化：
梯度下降：
$$\theta_0=\theta_0-{\alpha\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_0^{(i)}$$
$$\theta_j=\theta_j(1-\alpha{\lambda\over m})-{\alpha\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}$$
正规方程：
$$\theta=(x^Tx+\lambda\begin{bmatrix}0&&\\&1&\\&&1\end{bmatrix})^{-1}x^Ty$$
逻辑回归正则化：
$$J(\theta)={1\over m}\sum_{i=1}^m[-y^{(i)}log(h_\theta(x^{(i)}))-(1-y^{(i)})log(1-h_\theta(x^{(i)}))]+{\lambda\over 2m}\sum_{j=1}^n\theta_j^2$$
$$\theta_0=\theta_0-{\alpha\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_0^{(i)}$$
$$\theta_j=\theta_j-\alpha[{1\over m}\sum_{i=1}^m(h_\theta(x^{(i)})-y^{(i)})x_j^{(i)}+{\lambda\over m}\theta_j]$$
选取不同的$\lambda$结果对比
$\lambda$取0，即不加正则化–过拟合

$\lambda$取1，选取比较合适

$\lambda$取100，取值过大–欠拟合