机器学习数学语言学习报告：第三天

累加、累乘与积分作业

1. ${\sum }_{i\mathrm{m}\mathrm{o}\mathrm{d}2=0}{x}_i$

2. 问：求向量$\text{X}$中非负分量的加权和，权重向量$\text{W}$​非负

   答：${\sum }_{x_i\ge 0}{w}_i{x}_i$​

   问：将上式变为累乘形式

   答：$\ln {\prod }_{x_i\ge 0}{\mathrm{e}}^{w_i{x}_i}$​

   问：​​​​​求真实概率分布$P$与近似概率分布$Q$的KL散度

   答：$D_{\mathrm{K}\mathrm{L}}(P\Vert Q)={\int }_{-\infty }^{\infty }p(x)\ln \frac{p(x)}{q(x)}\mathrm{d}x$​

3. 三重累加的常用于计算三维张量的和，如图像的各类归一化方法（Batch Norm、Layer Norm 和 Group Norm）中求均值和方差的过程。

4. 定积分${\int }_0^{\pi }x\sin x\mathrm{d}x=\pi$​​​的python求解程序为：

   import math
   delta = 0.01
   sum([x * math.sin(x) * delta for x in [i * delta for i in range(int(math.pi / delta))]])
   

   结果为3.141537512485255，误差小于1e-5。

线性回归作业

1. 最小二乘法例子

   令函数$y=3x+5$，$x$取1，4，5，$\hat{y}$的取值分别为9，16，19。

   建立线性模型$\hat{y}=f(x)=ax+b$，使用最小二乘法求系数$a$和$b$​。

   $$a=\frac{{\sum }_{i=1}^3{x}_i{\hat{y}}_i-3\overline{x}\overline{y}}{{\sum }_{i=1}^3{x}_i^2-3{\overline{x}}^2}\approx 3.02$$​​

   $$b=\overline{y}-a\overline{x}\approx 4.59$$​

2. 岭回归推导

   优化目标为$$\arg \min \mathcal{L}(\mathbf{w})=\underset{\mathbf{w}}{\mathrm{argmin}}\Vert \mathbf{X}\mathbf{w}-\mathbf{Y}{\Vert }_2^2+\lambda \Vert \mathbf{w}{\Vert }_2^2$$

   $$\mathcal{L}(\mathbf{w})=(\mathbf{X}\mathbf{w}-\mathbf{Y}{)}^{\mathsf{T}}(\mathbf{X}\mathbf{w}-\mathbf{Y})+\lambda {\mathbf{w}}^{\mathsf{T}}\mathbf{w}={\mathbf{w}}^{\mathsf{T}}{\mathbf{X}}^{\mathsf{T}}\mathbf{X}\mathbf{w}-{\mathbf{Y}}^{\mathsf{T}}\mathbf{X}\mathbf{w}-{\mathbf{w}}^{\mathsf{T}}{\mathbf{X}}^{\mathsf{T}}\mathbf{Y}+{\mathbf{Y}}^{\mathsf{T}}+{\mathbf{Y}}^{\mathsf{T}}\mathbf{Y}+\lambda {\mathbf{w}}^{\mathsf{T}}\mathbf{w}$$

   即令$$\frac{\partial \mathcal{L}}{\partial \mathbf{w}}=2{\mathbf{X}}^{\mathsf{T}}\mathbf{X}\mathbf{w}-{\mathbf{X}}^{\mathsf{T}}\mathbf{Y}-{\mathbf{X}}^{\mathsf{T}}\mathbf{Y}-2\lambda \mathbf{w}={\mathbf{X}}^{\mathsf{T}}\mathbf{X}\mathbf{w}-{\mathbf{X}}^{\mathsf{T}}\mathbf{Y}-\lambda \mathbf{w}=0$$​

   因此$$\mathbf{w}=({\mathbf{X}}^{\mathsf{T}}\mathbf{X}+\lambda \mathbf{I}{)}^{-1}{\mathbf{X}}^{\mathsf{T}}\mathbf{Y}$$

Logistic 回归推导

$\text{x}$为输入，$\text{w}$为学习参数，$y$类别标签，使用sigmoid函数分类概率有
$$P(y=1|\mathbf{x};\mathbf{w})=\frac{1}{1+e^{-\mathbf{x}\mathbf{w}}}$$
统一$y_i$的不同取值（0 或 1）：
$$P\left(y_i|{\mathbf{x}}_i;\mathbf{w}\right)=P{\left(y_i=1|{\mathbf{x}}_i;\mathbf{w}\right)}^{y_i}{\left(1-P\left(y_i=1|{\mathbf{x}}_i;\mathbf{w}\right)\right)}^{1-y_i}$$
若数据共有$n$个，总的概率为各个概率的乘积，即
$$\begin{array}{rl}& P_{all}=P\left(y_1|{\mathbf{x}}_1;\mathbf{w}\right)P\left(y_2|{\mathbf{x}}_2;\mathbf{w}\right)P\left(y_3|{\mathbf{x}}_3;\mathbf{w}\right)\dots P\left(y_n|{\mathbf{x}}_n;\mathbf{w}\right)\\ & =\prod _{i=1}^{n}P(y_i|{\mathbf{x}}_i;\mathbf{w})\end{array}$$优化目标为最大化上式
$$\underset{\mathbf{w}}{\mathrm{argmax}}L(\mathbf{w})=\prod _{i=1}^{n}P\left(y_i|{\mathbf{x}}_i;\mathbf{w}\right)$$
可以通过两边取对数来把连乘变成连加，从而简化运算：
$$\begin{array}{rl}\log L(\mathbf{w})& =\sum _{i=1}^n\log P(y_i|\mathbf{x}i;\mathbf{w})\\ & =\sum _{i=1}^n{y}_i\log P(y_i=1|{\mathbf{x}}_i;\mathbf{w})+(1-y_i)\log (1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w}))\\ & =\sum _{i=1}^n{y}_i\log \frac{P(y_i=1|{\mathbf{x}}_i;\mathbf{w})}{1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w})}+\log (1-P(y_i=1|{\mathbf{x}}_i;\mathbf{w}))\\ & =\sum _{i=1}^n{y}_i{\mathbf{x}}_i\mathbf{w}-\log (1+e^{{\mathbf{x}}_i\mathbf{w}})\end{array}$$
对$\text{w}$求偏导得：
$$\begin{array}{rl}\frac{\partial \log L(\mathbf{w})}{\partial \mathbf{w}}& =\sum _{i=1}^n{y}_i{\mathbf{x}}_i-\frac{e^{{\mathbf{x}}_i\mathbf{w}}}{1+e^{{\mathbf{x}}_i\mathbf{w}}}{\mathbf{x}}_i\\ & =\sum _{i=1}^n\left(y_i-\frac{e^{{\mathbf{x}}_i\mathbf{w}}}{1+e^{{\mathbf{x}}_i\mathbf{w}}}\right){\mathbf{x}}_i\end{array}$$
令偏导为0得到迭代方程：
$${\mathbf{w}}^{t+1}={\mathbf{w}}^t-\alpha \frac{\partial \log L(\mathbf{w})}{\partial \mathbf{w}}$$
该方法的特点为

• 名字叫回归却常用于分类问题，利用sigmoid函数对问题建模，比线性函数更符合分类问题。
• sigmoid函数任意阶可导，具有良好的数学性质，使得方法简单易实现，许多机器学习算法都会用到该函数。
• 模型的可解释性好，特征的权重能反映不同特征对最后结果的影响。
• 没有假设数据分布，具有更强的泛用性。
• 输出为概率形式，可以用于辅助决策。