Machine Learning-Andrew Ng 课程第三周——Logistic Regression

1.关于Logistic Regression的一些基本问题

(1) Logistic Regression的名字

虽然字面上Logistic Regression是一种回归方法，但实际上，它是一种分类(Classification) 方法。

(2) 假设$h_{\theta }(\mathbf{x})$的内在含义

在Logistic Regression回归中，假设函数的形式如下：
$$h_{\theta }(\mathbf{x})=\frac{1}{1+e^{-{\theta }^T\mathbf{x}}}$$
这就是所谓的Logistic函数或者Sigmoid函数。

该函数的值域是(0,1)，可以将其输出解释为：对于输入$\mathbf{x}$，$h_{\theta }(\mathbf{x})$是该输入所对应输出$y=1$的概率。

(3) Logistic Regression的梯度下降推导

先说结论：Logistic Regression的参数更新表达式在形式上和线性回归是一样的，只不过假设$h_{\theta }(x)$的形式不同，接下来是推导过程：
$${\theta }_j:={\theta }_j-\alpha \frac{\partial J(\theta )}{\partial {\theta }_j}$$
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]$$ # 关于为什么$J(\theta )$这样表示，这里就不赘述了，详情参见吴恩达的机器学习课程。
$$\begin{gathered} \therefore \frac{\partial J(\theta )}{\partial {\theta }_j}=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\frac{1}{h_{\theta }(x^{(i)})}\frac{\partial h_{\theta }(x^{(i)})}{\partial {\theta }_j}-(1-y^{(i)})\frac{1}{1-h_{\theta }(x^i)}\frac{\partial h_{\theta }(x^{(i)})}{\partial {\theta }_j}] \\ =-\frac{1}{m}\sum _{i=1}^m[y^{(i)}(1-e^{-{\theta }^T{x}^{(i)}})(-\frac{x_j^{(i)}{e}^{-{\theta }^T{x}^{(i)}}}{(1-e^{-{\theta }^T{x}^{(i)}}{)}^2})-(1-y^{(i)})\frac{1-e^{-{\theta }^T{x}^{(i)}}}{-e^{-{\theta }^T{x}^{(i)}}}((-\frac{x_j^{(i)}{e}^{-{\theta }^T{x}^{(i)}}}{(1-e^{-{\theta }^T{x}^{(i)}}{)}^2}))] \\ =-\frac{1}{m}\sum _{i=1}^m[\frac{-y^{(i)}{x}_j^{(i)}{e}^{-{\theta }^T{x}^{(i)}}}{1-e^{-{\theta }^T{x}^{(i)}}}-\frac{(1-y^{(i)})x_j^{(i)}}{1-e^{-{\theta }^T{x}^{(i)}}}] \\ =-\frac{1}{m}\sum _{i=1}^m\frac{x_j^{(i)}(y^{(i)}(1-e^{{\theta }^T{x}^{(i)}})-1)}{1-e^{{\theta }^T{x}^{(i)}}} \\ =\frac{1}{m}\sum _{i=1}^m(h_{\theta }(x^{(i)})-y^{(i)})x_j^{(i)} \end{gathered}$$
可以看出，Logistic Regression的参数更新表达式在形式上和线性回归是一样的。

2.关于正则化的一些基本问题

(1) 正则化的初衷

我的理解是：因为不知道哪些项会导致过拟合，所以干脆将所有系数变小。（虽然这样的方法比较粗暴，但是管用啊！）（当然，正则化系数也不能太大，否则反而会造成欠拟合）

(2) 关于添加特征和运用正则化后的模型预测效果

这一点是从课程测验里总结出来的：

• 添加一个新特征，$h_{\theta }(\mathbf{x})$在训练集数据上会表现得更好（这个很好理解，添加特征能使模型更加拟合训练集数据，但是对于新数据会导致更加严重的过拟合）
• 运用正则化后，$h_{\theta }(\mathbf{x})$在预测新数据时表现得不一定更好（说不定本来就拟合得很好，结果用了正则化，所有系数变小，反而不如正则化之前的表现了）

(3) 关于Logistic Regression的cost function正则化表达式

这一条是在我做完本章作业之后加上的，因为自己忘记了一个很重要的细节：
Logistic Regression的正则化cost function如下：
$$J(\theta )=-\frac{1}{m}\sum _{i=1}^m[y^{(i)}\log (h_{\theta }(x^{(i)}))+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))]+\frac{\lambda }{2m}\sum _{j=1}^n{\theta }_j^2$$
重点就在于后面的正则项！！！ ${\theta }_0$不进行正则化所以正则项里并没有包含${\theta }_0$。但是在matlab的矩阵中是从theta(1)开始的，所以我在参照公式编程的时候忘记正则项里并没有包含${\theta }_0$ 这一点！！！浪费了我好长时间。

一定要记住这个教训！