机器学习之logistic回归

@(机器学习)[回归]
#logistic回归
在**《机器学习之线性回归模型》一章中，我们学习了如何使用线性模型进行回归学习。如果要将线性模型用来分类，就要用到该章结尾介绍的广义线性模型了。
logistic回归模型采用logistic函数来将线性回归产生的预测值$z={\mathbf{w}}^T\mathbf{x}+b$转化为一个接近0或1的$y$值;
$$y=\frac{1}{1+e^{-z}}\text{\hspace{1em}(1)}$$
由此得到logistic回归模型：
$$y=\frac{1}{1+e^{-({\mathbf{w}}^T\mathbf{x}+b)}}\text{\hspace{1em}(2)}$$
假设我们的训练集是由$m$个已标记的样本构成： { ( x ( 1 ) , y ( 1 ) ) , ⋯   , ( x ( m ) , y ( m ) ) , } \{(x^{(1)},y^{(1)}),\cdots,(x^{(m)},y^{(m)}),\} {(x(1),y(1)),⋯,(x(m),y(m)),}，输入特征向量${\mathbf{x}}^{(i)}\in {\mathbb{R}}^{n+1}$。（我们约定其中$x_0=1对应截距项$）。
我们将用于分类的函数称为假设函数**（hypothesis function），logistic回归中的假设函数为：
$$h_{\theta }=\frac{1}{1+e^{(-{\theta }^{T}x)}}\text{\hspace{1em}(3)}$$
注意，$(3)$中的$\theta$等价于$[w;b]$。
我们可以通过“极大似然法”（maximum likelihood method）来估计$\theta$。不妨设：
$$\begin{array}{rl}P(y=1|x;\theta )& =h_{\theta }(x)\\ P(y=0|x;\theta )& =1-h_{\theta }(x)\end{array}\text{\hspace{1em}(4)}$$
那么有
$$P(y|x;\theta )=(h_{\theta }(x){)}^y(1-h_{\theta }(x){)}^{1-y}\text{\hspace{1em}(5)}$$
似然函数为：
$$\begin{array}{rl}L(\theta )& =P(\mathbf{Y}|\mathbf{X};\theta )\\ & =\prod _{i=1}^{m}P(y^{(i)}|x^{(i)};\theta )\\ & =\prod _{i=1}^m(h_{\theta }(x^{(i)}){)}^{y^{(i)}}(1-h_{\theta }(x^{(i)}){)}^{1-y^{(i)}}\end{array}\text{\hspace{1em}(6)}$$
对数似然函数为：
$$\begin{array}{rl}l(\theta )& =\log L(\theta )\\ & =\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\end{array}\text{\hspace{1em}(7)}$$
我们将训练模型参数$\theta$使其能够最小化代价函数：
$$J(\theta )=-\frac{1}{m}\left[\sum _{i=1}^m{y}^{(i)}\log h_{\theta }(x^{(i)})+(1-y^{(i)})\log (1-h_{\theta }(x^{(i)}))\right]\text{\hspace{1em}(8)}$$