机器学习中线性回归（linear regression）与逻辑回归（logic regression）简单推导)

线性回归（linear regression）

线性回归在机器学习中是非常重要，也是非常基础的拟合方法。

输入数据表

$X^i$ \ $X_j$	$X_1$	$X_2$	$X_3$	$X_4$	$X_5$	…	$h_{\theta }(X^i)$	$y^i$
$X^1$
$X^2$
$X^3$
$X^4$
$X^5$
…

${\theta }_j$	${\theta }_1$	${\theta }_2$	${\theta }_3$	${\theta }_4$	${\theta }_5$	…

如上图所示有i个输入样本，$X^i$表示第i个样本。每个样本有j个特征值，$X_j$表示第j个特征值。$y^i$表示第i个输入样本的目标值。${\theta }_j$为第j个输入特征的系数。线性回规的目的就是找出更好的${\theta }_j$以拟合目标值。

$$h_{\theta }(X^i)={\theta }_1\cdot X_1+{\theta }_2\cdot X_2+...+{\theta }_j\cdot X_j$$

输入数据向量化

以表中数据的位置表示向量方向，则$\overrightarrow{X^i}$为行向量，$\overrightarrow{X_j}$表示列向量，$\vec{\theta }$表示行向量。

$$h_{\theta }(X^i)=\overrightarrow{X^i}\cdot {\vec{\theta }}^T$$

举个例子

已知有m栋房子的面积，房间数，楼层数，是否邻河等各种特征数据，目标值是房子的售价。现在为了估算我家200平米三层小洋楼的售价，需要利用这m个输入数据与目标值来训练出系数${\theta }_j$以完成$h_{\theta }$函数。

$X^i$ \ $X_j$	面积$X_1$	房间数$X_2$	楼层数$X_3$	…	$h_{\theta }(X^i)$	售价$y^i$
房1$X^1$
房2$X^2$
房3$X^3$
…

线性回归的代价函数（省略向量箭头标志）

$$J(\theta )=\frac{1}{2m}\sum _{i=1}^m(h_{\theta }(X^i)-y^i{)}^2$$
此为均方差方程，前面出现二分之一是为了后面利用梯度递减算法时可以约去求导系数2。

梯度递减算法

利用梯度递减算法训练$\theta$（详细可参照网上其他资料，其中a为learning rate）。
$${\theta }_j={\theta }_j-a\frac{\alpha }{\alpha {\theta }_j}J(\theta )$$
将$J(\theta )$代入后可得：
$${\theta }_j={\theta }_j-\frac{a}{m}\sum _{i=1}^m(h_{\theta }(X^i)-y^i)\cdot X_j^i$$
按照此公式将训练集迭代完后即可得到一系列较好的$\theta$，并得到拟合函数$h_{\theta }(X^i)$。

逻辑回归（logic regression）

本文中讨论比较基础的{0,1}逻辑。即目标值只有两种情况，是和不是。

输入数据

输入数据表与向量化和线性回归处相同，直接套用。

$X^i$ \ $X_j$	$X_1$	$X_2$	$X_3$	$X_4$	$X_5$	…	$h_{\theta }(X^i)$	$y^i$
$X^1$
$X^2$
$X^3$
$X^4$
$X^5$
…

${\theta }_j$	${\theta }_1$	${\theta }_2$	${\theta }_3$	${\theta }_4$	${\theta }_5$	…

若同线性回归中一样采用下面的求值方法
$$h_{\theta }(X^i)=\overrightarrow{X^i}\cdot {\vec{\theta }}^T$$
那么$h_{\theta }(X^i)$就会就会出现大量偏离0,1的情况，所以需要一个activate function来将数据统筹在[0,1]范围内。本例中使用较常使用也比较基础的sigmoid函数。

$$S(x)=\frac{1}{1+{\mathrm{e}}^{-\mathrm{x}}}$$
将$X^i\cdot {\theta }^T$代入上式可得

$$h_{\theta }(X^i)=\frac{1}{1+{\mathrm{e}}^{-{\mathrm{X}}^{\mathrm{i}}\cdot {\theta }^{\mathrm{T}}}}$$

以下是代价函数：
$$J(\theta {)}^i=\{\begin{array}{ll}-ln(h_{\theta }(X^i)),& y^i=1\\ -ln(1-h_{\theta }(X^i)),& y^i=0\end{array}$$
而代价函数也可以使用其他的，其中理由太过深奥，没有深究。大佬可以继续探索。可以看出若$y^i=1$，$h_{\theta }(X^i)$接近1时代价函数接近0；接近0时代价函数为无穷大。若$y^i=0$，$h_{\theta }(X^i)$接近1时代价函数接近无穷大；接近0时代价函数接近0。

但是上式明显不利于求导，可以将两个方程并为一个

$$J(\theta {)}^i=-y^i\cdot ln(h_{\theta }(X^i))-(1-y^i)\cdot ln(1-h_{\theta }(X^i))$$

总的代价函数为：
$$J(\theta )=\frac{-1}{m}\sum _{i=1}^m\left(y^i\cdot ln(h_{\theta }(X^i))+(1-y^i)\cdot ln(1-h_{\theta }(X^i))\right)$$

同样利用梯度递减算法（gradient decrease）可得：
$${\theta }_j={\theta }_j-\frac{a}{m}\sum _{i=1}^m(h_{\theta }(X^i)-y^i)\cdot X_j^i$$
竟然和线性回归中的迭代公式一模一样惊不惊喜意不意外，下面列出推导过程。

推导准备工作

$$h_{\theta }(X^i)=S(X^i\cdot {\theta }^T)$$
对上式求偏导
$$\frac{\alpha }{\alpha {\theta }_j}{h}_{\theta }(X^i)=S^{{}^{\prime }}(X^i\cdot {\theta }^T)\cdot X_j^i$$

使用sigmoid激活函数
$$S(x)=\frac{1}{1+{\mathrm{e}}^{-1}}$$
对激活函数求导
$$S^{{}^{\prime }}(x)=S(x)\cdot (1-S(x))$$

$$\frac{\alpha }{\alpha {\theta }_j}J(\theta )=\frac{-1}{m}\sum _{i=1}^m\left(\frac{y^i\cdot h_{\theta }^{{}^{\prime }}(X^i)}{h_{\theta }(X^i)}+\frac{(1-y^i)\cdot h_{\theta }^{{}^{\prime }}(X^i)}{h_{\theta }(X^i)-1}\right)$$

$$=\frac{-1}{m}\sum _{i=1}^m\frac{(h_{\theta }(X^i)-y^i)\cdot h_{\theta }^{{}^{\prime }}(X^i)}{h_{\theta }(X^i)\cdot (h_{\theta }(X^i)-1)}$$

$$=\frac{-1}{m}\sum _{i=1}^m\frac{(h_{\theta }(X^i)-y^i)\cdot h_{\theta }^{{}^{\prime }}(X^i)}{h_{\theta }(X^i)\cdot (h_{\theta }(X^i)-1)}$$

最后将$h_{\theta }^{{}^{\prime }}(X^i)=S(X^i\cdot {\theta }^T)\cdot (1-S(X^i\cdot {\theta }^T))\cdot X_j^i$以及
$$h_{\theta }(X^i)=S(X^i\cdot {\theta }^T)$$代入上式即可得结果。