Logistic回归

《机器学习实战》 第5章直接开始梯度下降的代码，没有搞明白。补上《机器学习》这部分的原理

线性模型

$f(x) = \omega^Tx+b$是直线方程。确定$\omega$和$b$即可确定模型。

线性回归

线性回归通过给定数据集，确定线性模型，即确定参数$\omega$和$b$

最小二乘法

基于均方误差最小化来确定线性模型中参数

$$(\omega^*, b^*) = arg \min_{(w,b)} \sum_{i=1}^m {(f(x_i)-y_i)^2}$$
即求得的直线，与给定数据集之间欧式距离之和最小
记

$$E_{(w,b)} = \sum_{i=1}^m {(f(x_i)-y_i)^2} = \sum_{i=1}^m {(y_i-\omega x_i-b)^2}$$
即求使 $E$最小的$\omega, b$，分别对参数求偏导求解

对数线性回归

当输出在指数尺度上时，可以对线性模型进行改进

$$\ln{y} = \omega^Tx+b$$

广义线性模型

对任一单调可微函数，均可以用来对线性模型进行扩展。

$$y=g^{-1}(\omega^Tx+b)$$

对数几率回归（logistic regression）

对于二值分类，可以通过广义线性模型，对线性模型进行改造。理想的{0-1}分类函数是单位阶跃函数。

$$y = \left\{ {\begin{array}{*{20}{c}} {0,x < 0}\\ {0.5,x = 0}\\ {1,x > 0}\\ \end{array}} \right.$$
但单位阶跃函数不连续，因此使用 对数几率函数（logistic function）
$$y= \frac{1}{1+e^{-z}}$$
带入广义线性模型，得到
$$y=\frac{1}{1+e^{-(\omega^T x+b)}}$$
对上式进行变化，可得
$$\ln{\frac{y}{1-y}} = \omega^T x+b$$
y输出区间为(0,1)，将 $y$视为$x$为正例的似然值， $1-y$为反例似然值，则比值 $\frac{y}{1-y}$为x为正例的相对可能性。取对数 $\ln\frac{y}{1-y}$得到 对数几率

梯度下降法

对logistic回归，求解参数$\omega$和b，有多种优化算法，例如梯度下降法，牛顿法。