【学习机器学习】线性模型相关方程求解

前言

机器学习已经学到线性模型了，今天课上讲了两个方法，一个是对单一属性线性回归使用的最小二乘法，一个是对多元回归使用的极大似然法。老师过的太快了没有怎么搞明白，尤其是其中的推导，大量的“易证”，实际上还是需要些步骤的。因此今天我就来把这两个方法中的一些解方程的步骤写一下

1. 单一属性线性回归——最小二乘法中$\omega$和b求解

方程组：

$\frac{\partial E_{(}\omega ,b)}{\partial \omega }=2(\omega {\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m(y_i-b)x_i)=0$…(1)

$\frac{\partial E_{(}\omega ,b)}{\partial b}=2(mb-{\sum }_{i=1}^m(y_i-w{x}_i))=0$…(2)

由(2)式可得，

$b=\frac{1}{m}{\sum }_{i=1}^m(y_i-\omega x_i)$

将其带入(1)式，则有

$\omega {\sum }_{i=1}^m{x}_i^2-{\sum }_{i=1}^m{y}_i{x}_i+b{\sum }_{i=1}^m{x}_i=0$

$\omega {\sum }_{i=1}^m{x}_i^2+\frac{1}{m}{\sum }_{i=1}^m(y_i-\omega x_i){\sum }_{i=1}^m{x}_i={\sum }_{i=1}^m{y}_i{x}_i$

$\omega {\sum }_{i=1}^m{x}_i^2+\frac{1}{m}{\sum }_{i=1}^m(y_i{x}_i)-\frac{\omega }{m}({\sum }_{i=1}^m{x}_i{)}^2={\sum }_{i=1}^m{y}_i{x}_i$

$\omega ({\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2)={\sum }_{i=1}^m{y}_i{x}_i-\frac{1}{m}{\sum }_{i=1}^m{y}_i{x}_i$

得，$\omega =\frac{{\sum }_{i=1}^m{y}_i(x_i-x_{均})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}_i{)}^2}$，其中$x_{均}=\frac{1}{m}{\sum }_{i=1}^m{x}_i$

2. 对数几率回归——极大似然法

2.1 对数几率函数

对于二分类问题，假定其预测值与输出标记有如下关系：

$z={\omega }^{T}x+b$，$y\in 0,1$

最理想的函数——单位阶跃函数：

$y=0,z<0$
$y=0.5,z=0$
$y=1,z>0$

但是这是一个离散的函数，我们可以用一个与其等价的替代函数来表示，即：

$y=\frac{1}{1+e^{-z}}=\frac{1}{1+e^{-({\omega }^{T}x+b)}}$

我们称上述函数为对数几率函数，注意到这是一个单调可微、任意阶可导的广义线性模型函数

2.2 对数几率

我们可以用上述函数去求取对数几率，即样本作为正例的相对可能性的对数:

$\ln \frac{y}{1-y}$

对于二分类问题来说，即

$\ln \frac{p(y=1|x)}{p(y=0|x)}={\omega }^{T}x+b$

注意到$p(y=1|x)$和$p(y=0|x)$之和为1，因此可以解得$p(y=1|x)=\frac{e^{{\omega }^{T}x+b}}{1+e^{{\omega }^{T}x+b}}$，$p(y=0|x)=\frac{1}{1+e^{{\omega }^{T}x+b}}$

2.3 对数几率回归——极大似然法

极大似然法是一种参数估计法，也就是通过部分观测值，反推导致这样结果的参数的一种方法。我们做线性回归，就是为了得出一组系数和截距，使得$f(x_i)={\omega }^T{x}_i+b$成立，因此下面我们采用极大似然法，通过一组给定的数据集，去反推出系数与截距$\omega$和$b$。

首先我们对原式做一些修改，令$\beta =(\omega ;b)$，$x^{\prime }=(x;1)$，则${\omega }^{T}x+b$可简写为${\beta }^T{x}^{\prime }$。$\beta$实际上就是一个系数、截距矩阵，我们去构造关于$\beta$的似然函数

再令

$p_1(x_i^{\prime };\beta )=p(y=1|x^{\prime };\beta )$

$p_0(x_i^{\prime };\beta )=p(y=0|x^{\prime };\beta )$

这样一来，就有似然函数：

$l(\omega ,b)={\prod }_{i=1}^m{p}_1(x_i^{\prime };\beta {)}^{y_i}{p}_0(x_i^{\prime };\beta {)}^{1-y_i}$

取对数：

$l(\omega ,b)={\sum }_{i=1}^m\ln p(y_i|x_i;{\omega }_i,b)$

$l(\omega ,b)$
$={\sum }_{i=1}^m[\ln p(y_i|x_i;{\omega }_i,b)]$
$={\sum }_{i=1}^m\left\{\ln [p_1(x_i^{\prime };\beta {)}^{y_i}+\ln p_0(x_i^{\prime };\beta {)}^{1-y_i}]\right\}$
= ∑ i = 1 m { y i ln ⁡ [ p 1 ( x i ′ ; β ) ] + ( 1 − y i ) ln ⁡ [ 1 − p 1 ( x i ′ ; β ) ] } = \sum_{i=1}^m\left\{ y_i \ln[p_1(x_i';\beta)]+ (1-y_i) \ln [1-p_1(x_i';\beta)]\right\} =∑i=1m​{yi​ln[p1​(xi′​;β)]+(1−yi​)ln[1−p1​(xi′​;β)]}
= ∑ i = 1 m { y i { ln ⁡ [ p 1 ( x i ′ ; β ) ] − ln ⁡ [ 1 − p 1 ( x i ′ ; β ) ] } + ln ⁡ [ 1 − p 1 ( x i ′ ; β ) ] } = \sum_{i=1}^m \left\{y_i \left\{\ln[p_1(x_i';\beta)] - \ln [1-p_1(x_i';\beta)]\right\} + \ln [1-p_1(x_i';\beta)]\right\} =∑i=1m​{yi​{ln[p1​(xi′​;β)]−ln[1−p1​(xi′​;β)]}+ln[1−p1​(xi′​;β)]}
$={\sum }_{i=1}^m\left\{y_i\ln \frac{p_1(x_i^{\prime };\beta )}{1-p_1(x_i^{\prime };\beta )}+\ln [1-p_1(x_i^{\prime };\beta )]\right\}$
$={\sum }_{i=1}^m(y_i\ln e^{{\beta }^T{x}^{\prime }}+\ln \frac{1}{1+e^{{\beta }^T{x}^{\prime }}})$
$={\sum }_{i=1}^m[y_i{\beta }^T{x}^{\prime }-\ln (1+e^{{\beta }^T{x}^{\prime }})]$

因此我们的目标结果也就是：

${\beta }^{\ast }=argmax[l(\beta )]=argmin[-l(\beta )]=argmin\left\{{\sum }_{i=1}^m[-y_i{\beta }^T{x}^{\prime }+\ln (1+e^{{\beta }^T{x}^{\prime }})]\right\}$

结语

上面这堆公式打的我眼睛都花了，好在这下真的弄明白这两种算法是怎么来的了