吃瓜任务2

1.一元线性回归

1.1 最小二乘估计

基于均方误差最小化来进行模型求解的方法称为“最小二乘法”。
$$\begin{array}{rl}{E}_{\left(w,b\right)}& =\sum _{i=1}^m{\left(y_i-f\left(x_i\right)\right)}^2\\ & =\sum _{i=1}^m{\left(y_i-\left(w{x}_i+b\right)\right)}^2\\ & =\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$

1.2 极大似然估计

用途：估计概率分布的参数值
方法：对于离散型（连续型）随机变量$X$，假设其概率质量函数为$P(x;\theta )$(概率密度函数为$p(x;\theta )$，其中$\theta$为待估计的参数值（可以有多个）。现有$x_1,x_2,x_3,\dots ,x_n$是来自$X$的$n$个独立同分布的样本，它们的联合概率为
$$L\left(\theta \right)=\prod _{i=1}^{n}P\left(x_i;\theta \right)$$
其中$x_1,x_2,x_3,\dots ,x_n$是已知量，$\theta$是未知量，因此以上概率是一个关于$\theta$的函数，称$L\left(\theta \right)$为样本的似然函数。极大似然估计的直观想法：使得观测样本出现概率最大的分布就是待求分布，即使得联合概率（似然函数）$L(\theta )$取到最大值的${\theta }^{\ast }$即为$\theta$的估计值。

对于线性回归模型来说，可以假设其为以下模型：
$$y=wx+b+\epsilon$$
其中$\epsilon$为不受控制的随机误差，通常假设其服从均值为0的正态分布$\epsilon \sim N(0,{\sigma }^2)$，所以$\epsilon$的概率密度函数为
$$p\left(\epsilon \right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{{\epsilon }^2}{2{\sigma }^2}\right)$$
将$\epsilon$用$y-(wx+b)$替换可得
$$p\left(y\right)=\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y-(wx+b){)}^2}{2{\sigma }^2}\right)$$
上式可以看作$y\sim N(wx+b,{\sigma }^2)$，可以用极大似然估计来估计$w$和$b$的值，似然函数为
$$\begin{array}{rl}L\left(w,b\right)& =\prod _{i=1}^{m}p\left(y_i\right)\\ & =\prod _{i=1}^m\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y-(wx+b){)}^2}{2{\sigma }^2}\right)\end{array}$$
$$\begin{array}{rl}{\ln }_{}L\left(w,b\right)& =\sum _{i=1}^m{\ln }_{}p\left(y_i\right)\\ & =\sum _{i=1}^m{\ln }_{}\frac{1}{\sqrt{2\pi }\sigma }\exp \left(-\frac{(y_i-(w{x}_i+b){)}^2}{2{\sigma }^2}\right)\\ & =\sum _{i=1}^m{\ln }_{}\frac{1}{\sqrt{2\pi }\sigma }+\sum _{i=1}^m\left(-\frac{(y_i-(w{x}_i+b){)}^2}{2{\sigma }^2}\right)\\ & =m{\ln }_{}\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2{\sigma }^2}\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$
其中$m,\sigma$均为常数，所以最大化${\ln }_{}L\left(w,b\right)$等价于最小化${\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$，
即
$$\begin{array}{rl}\left(w^{\ast },b^{\ast }\right)& =\arg \underset{\left(w,b\right)}{\max }{\ln }_{}L\left(w,b\right)\\ & =\arg \underset{\left(w,b\right)}{\min }\sum _{i=1}^m{\left(y_i-w{x}_i-b\right)}^2\end{array}$$

1.3 求解$w$和$b$

求解$w$和$b$其本质上是一个多元函数求最值点的问题，更具体而言，是凸函数求最值点的问题。
推导思路：
1.证明$E_{(w,b)}={\sum }_{i=1}^m{\left(y_i-w{x}_i-b\right)}^2$是关于$w$和$b$的凸函数
2.用凸函数求最值的思路求解出$w$和$b$

1.4 机器学习三要素

• 模型：根据具体问题，确定假设空间
• 策略：根据评价标准，确定选取最优模型的策略（通常会产生出一个“损失函数”）
• 算法：求解损失函数，确定最优模型

2.多元线性回归

$${\hat{w}}^{\ast }=\arg \underset{{\hat{w}}^{\ast }}{\min }{\left(y-X\hat{w}\right)}^T\left(y-X\hat{w}\right)$$
求解$\hat{w}$依然是多元函数求最值点的问题，同样也是凸函数求最值点的问题。
推导思路：
1.证明$E_{\hat{w}}={\left(y-X\hat{w}\right)}^T\left(y-X\hat{w}\right)$是关于$\hat{w}$的凸函数。
2.用凸函数求最值的思路求解出$\hat{w}$

3.对数几率回归

3.1 极大似然估计

第一步：确定概率密度函数
已知离散型随机变量 y ∈ { 0 , 1 } y\in \{0,1\} y∈{0,1}取值为1和0的概率分别建模为
$$p\left(y=1|x\right)=\frac{1}{1+e^{-\left(w^{T}x+b\right)}}=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$$
$$p\left(y=0|x\right)=\frac{1}{1+e^{w^{T}x+b}}$$
令$\beta =(w;b),\hat{x}=(x;1)$，则上式可简写为
$$p\left(y=1|\hat{x};\beta \right)=\frac{e^{{\beta }^T\hat{x}}}{1+e^{{\beta }^T\hat{x}}}=p_1\left(\hat{x};\beta \right)$$
$$p\left(y=0|\hat{x};\beta \right)=\frac{1}{1+e^{{\beta }^T\hat{x}}}=p_0\left(\hat{x};\beta \right)$$
由以上概率取值可推得随机变量 y ∈ { 0 , 1 } y\in\{0,1\} y∈{0,1}的概率质量函数为
$$p\left(y|\hat{x};\beta \right)=y\cdot p_1\left(\hat{x};\beta \right)+(1-y)\cdot p_0\left(\hat{x};\beta \right)$$
第二步：写出似然函数
$$L\left(\beta \right)=\prod _{i=1}^{m}p\left(y_i|{\hat{x}}_i;\beta \right)$$
对数似然函数为
$$\begin{array}{rl}\ell \left(\beta \right)& =\sum _{i=1}^m{\ln }_{}\left(y_i\cdot p_1\left(\widehat{x_i};\beta \right)+(1-y_i)\cdot p_0\left(\widehat{x_i};\beta \right)\right)\\ & =\sum _{i=1}^m{\ln }_{}\left(\frac{y_i{e}^{{\beta }^T{\hat{x}}_i}}{1+e^{{\beta }^T{\hat{x}}_i}}+\frac{1-y_i}{1+e^{{\beta }^T{\hat{x}}_i}}\right)\\ & =\sum _{i=1}^m\left({\ln }_{}\left(y_i{e}^{{\beta }^T{\hat{x}}_i}+1-y_i\right)-{\ln }_{}\left(1+e^{{\beta }^T{\hat{x}}_i}\right)\right)\\ & =\sum _{i=1}^m\left(y_i{\beta }^T\widehat{x_i}-{\ln }_{}\left(1+e^{{\beta }^T{\hat{x}}_i}\right)\right)\end{array}$$

3.2 对数几率回归算法的机器学习三要素：

1.模型：线性模型，输出值的范围为$[0,1]$，近似阶跃的单调可微函数
2.策略：极大似然估计，信息论
3.算法：梯度下降、牛顿法

4.二分类线性判别分析

4.1 算法原理

从几何的角度，让全体训练样本经过投影后：

• 异类样本的中心尽可能远
• 同类样本的方差尽可能小

4.2 损失函数推导

经过投影后，异类样本的中心尽可能远：
$$\max {\Vert w^T{\mu }_0-w^T{\mu }_1\Vert }_2^2$$
经过投影后，同类样本的方差尽可能小：
$$\min w^T{\Sigma }_{0}w$$
$$\begin{array}{rl}\max J& =\frac{{\Vert w^T{\mu }_0-w^T{\mu }_1\Vert }_2^2}{w^T{\Sigma }_{0}w+w^T{\Sigma }_{1}w}\\ & =\frac{{\Vert w^T{\mu }_0-w^T{\mu }_1\Vert }_2^2}{w^T\left({\Sigma }_0+{\Sigma }_1\right)w}\\ & =\frac{w^T({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w}{w^T\left({\Sigma }_0+{\Sigma }_1\right)w}\end{array}$$
令$S_b=({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^T$，$S_w={\Sigma }_0+{\Sigma }_1$，
则优化问题转化为
$$\begin{gathered} \underset{w}{\min }-w^T{S}_{b}w \\ s.t.w^T{S}_{w}w=1 \end{gathered}$$
由拉格朗日乘子法可得拉格朗日函数为
$$\begin{array}{r}L\left(w,\lambda \right)=-w^T{S}_{b}w+\lambda \left(w^T{S}_{w}w-1\right)\end{array}$$
对$w$求偏导可得
$$\begin{array}{r}\frac{\partial L\left(w,\lambda \right)}{\partial w}=-(S_b+S_b^T)w+\lambda (S_w+S_w^T)w\end{array}$$
令上式等于0可得
$$S_{b}w=\lambda S_{w}w$$
$$({\mu }_0-{\mu }_1)({\mu }_0-{\mu }_1{)}^{T}w=\lambda S_{w}w$$
令$({\mu }_0-{\mu }_1{)}^{T}w=\gamma$可得
$$w=\frac{\gamma }{\lambda }{S}_w^{-1}({\mu }_0-{\mu }_1)$$

参考文献：

• 《机器学习》周志华著 清华大学出版社
• Datawhale开源学习课程https://datawhale.feishu.cn/docs/doccndJC2sbSfdziNcahCYCx70W