机器学习 之 作业1

作业 1: 经验风险最小化 vs. 结构风险最小化

[1] 解释：期望风险最小，经验风险最小化和结构风险最小化；

经验风险：对所有训练样本都求一次损失函数，再累加求平均。即，模型f(x)对训练样本中所有样本的预测能力,是局部概念。
$$R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))$$

期望风险：对所有样本（包含未知样本和已知的训练样本）的预测能力，是全局概念。
$$R_{exp}(f)=E_p[L(Y,f(X))]={\int }_{x\times y}L(y,f(x))P(x,y)dxdy$$

结构风险：对经验风险和期望风险的折中，在经验风险函数后面加一个正则化项（惩罚项），是一个大于0的系数$\lambda$。J(f)表示的是模型的复杂度。
$$R_{srm}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$

[2] 当模型是条件概率分布（比如 $y｜x～N(w^{T}x,1)$），当损失函数是对数损失函数时，

(2.1) 经验风险最小化等价于极大似然估计;

经验风险损失函数为
$$\begin{gathered} R_{emp}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i)) \\ =-\frac{1}{N}\sum _{i=1}^N\log P(y_i|x_i) \end{gathered}$$
极大似然估计为
$$\begin{gathered} P(y)=\prod _{i=1}^{n}P(y_i|x_i) \\ \log P(y)=\log \prod _{i=1}^{n}P(y_i|x_i)=\sum _{i=1}^N\log P(y_i|x_i) \\ -\frac{1}{N}\log P(y)=-\frac{1}{N}\sum _{i=1}^N\log P(y_i|x_i)=R_{emp}(f) \end{gathered}$$
因此经验风险最小化等价于极大似然估计。

(2.2) 结构风险最小化等价于最大后验概率估计

结构风险误差函数为
$$R_{srm}(f)=\frac{1}{N}\sum _{i=1}^{N}L(y_i,f(x_i))+\lambda J(f)$$
最大后验概率估计为
$$\begin{gathered} p(w|D)\approx p(D|w)p(w) \\ ma{x}_w\frac{1}{n}\log p(w|D)\approx ma{x}_w\frac{1}{n}p(D|w)p(w) \\ =ma{x}_w\frac{1}{n}\log \prod _{i=1}^{n}p(y_i|x_i)+\log p(w) \\ =mi{n}_w\frac{1}{n}\sum _{i=1}^n\log p(y_i|x_i)-\log p(w) \end{gathered}$$

得证。

作业 2：关于曲线拟合

[1] 对$y=\sin (2\pi x)$进行在$x=0.5$进行泰勒展开，展开至$O(x^3)$即可；

$$\begin{gathered} \sin (2\pi x)=-2\pi (x-0.5)+\frac{4{\pi }^3}{3}(x-0.5{)}^3+O(x^3) \\ \simeq 41.34x^3-62.01x^2+24.72x-2.03 \end{gathered}$$

[2] 在 M=0，1，3，9 的情况下，求解出系数 。在 M=3 的情况下，比较第[1]小题和第[2]小题求出来的系数。

$$\begin{gathered} L(w)=\sum _{i=1}^N(f_M(x_i,w)-y_i{)}^2 \\ =(\text{X}\text{w}-\text{y}{)}^T(\text{X}\text{w}-\text{y}) \\ ={\text{w}}^T{\text{X}}^T\text{Xw}-2{\text{w}}^T{\text{X}}^T\text{t}+{\text{t}}^T\text{t} \end{gathered}$$

$$\begin{gathered} \frac{\vartheta L}{\vartheta \text{w}}=\frac{2}{n}{\text{X}}^T\text{X}\text{w}-\frac{2}{n}{\text{X}}^T\text{t}=0 \\ \text{w}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{t} \end{gathered}$$

其中$\text{X}$是范德蒙矩阵，当M=0，1，3，9时，用python计算：

from numpy import *

x = [0.0, 0.1111, 0.2222, 0.3333, 0.4444, 
		0.5556, 0.6667, 0.7778, 0.8999, 1.0]
y = [0.0008, 0.6419, 0.9849, 0.8655, 
		0.3423, -0.3426, -0.8655, -0.9841, -0.6411, -0.0002]

def calc_w(n):
    # 先求范德蒙矩阵
    X = ones((10,1))
    m_t = mat(x).T
    m_diagonal = diag(x)
    while n>0:
        X=hstack((X,m_t))
        m_t = m_diagonal*m_t
        n-=1
    t = mat(y).T
    return (X.T*X).I*X.T*t
    
print('M=0:')
#print(calc_w(0))
print('M=1:')
print(calc_w(1))
print('M=3:')
print(calc_w(3))
print('M=9:')
print(calc_w(9))

结果为

M=0:
不可逆，手算出[[0.00018]]
M=1:
[[ 0.67342714]
 [-1.34351854]]
M=3:
[[ -0.05776011]
 [ 10.72400336]
 [-31.83268864]
 [ 21.20829113]]
M=9:
[[ 3.56381361e-04]
 [ 6.34779809e+00]
 [-2.77218971e+00]
 [-5.85761912e+00]
 [-2.17733512e+02]
 [ 8.21288106e+02]
 [-1.45968949e+03]
 [ 1.57393264e+03]
 [-9.71232120e+02]
 [ 2.55715737e+02]]

可以看到，在$M=3$的情况下，与泰勒级数相比，大约是2倍的关系，实际上的曲线也差不多。

[3] 证明《PRML》第一章第一个题目。

当误差函数取最小值时，根据题目[2]，必然有
$$\begin{gathered} \text{w}=({\text{X}}^T\text{X}{)}^{-1}{\text{X}}^T\text{t} \\ {\text{X}}^T\text{X}\text{w}={\text{X}}^T\text{t} \\ ({\text{X}}^T\text{X}\text{w}{)}^T=({\text{X}}^T\text{t}{)}^T \\ {\text{w}}^T{\text{X}}^T\text{X}={\text{t}}^T\text{X} \\ \text{w}({\text{X}}^T\text{X}{)}_i={\text{t}}^T{\text{X}}_i \end{gathered}$$

$$\begin{gathered} T_i={\sum }_{n=1}^N(x_n{)}^i{t}_n \\ ={\sum }_{n=1}^N{\text{X}}_{n,i+1}{t}_n={\text{t}}^T{\text{X}}_i \end{gathered}$$
其中${\text{X}}_i$表示矩阵$\text{X}$的第$i$列。${\text{X}}_{n,i}$表示范德蒙矩阵的第$n$行，第$i$列的元素。

$A_{ij}={\sum }_{n=1}^N(x_n{)}^{i+j}=({\text{X}}^T\text{X}{)}_i$
其中，$({\text{X}}^T\text{X}{)}_i$表示矩阵${\text{X}}^T\text{X}$的第$i$列。
根据原式
$$\begin{gathered} \sum _{j=0}^N{A}_{ij}{w}_j=T_i \\ \sum _{j=0}^M(\sum _{n=1}^N(x_n{)}^{i+j}{w}_j)=\sum _{n=1}^N(x_n{)}^i{t}_n \\ \sum _{j=0}^M(({\text{X}}^T\text{X}{)}_i{w}_j)=\sum _{n=1}^N{\text{X}}_{n,i}{t}_n \\ \text{w}({\text{X}}^T\text{X}{)}_i={\text{t}}^T{\text{X}}_i \end{gathered}$$

从而得证。

作业 3：最小二乘与正则化问题

当正则化项是$\lambda {\sum }_{j=2}^d{\theta }_j^2$时，必然有
$$\hat{\theta }=({\text{A}}^T\text{A}+\lambda \text{F}{)}^{-1}{\text{A}}^T\text{y}$$

其中$F$为$d\times d$的矩阵，$F_{i,i}=1,(1<i\le d)$，其他元素都是$0$
$$\begin{gathered} ({\text{A}}^T\text{A}+\lambda \text{F})\hat{\theta }={\text{A}}^T\text{y} \\ ({\text{A}}_1^T\text{A}+\lambda \text{F})\hat{\theta }={\text{A}}_1^T\text{y} \end{gathered}$$

其中$A_1^T$表示$A^T$的第一行，为$I^T$，$I$为$n\times 1$的全1列向量，则变为
$$\begin{gathered} (I^T\text{A}+\lambda \text{F})\hat{\theta }=I^T\text{y} \\ [n,0,0,...,0{]}_{1\times d}^T\hat{\theta }=I^T\text{y} \\ n{\hat{\theta }}_1=I^T\text{y} \\ {\hat{\theta }}_1=\frac{I^T\text{y}}{n} \end{gathered}$$

当正则化项是$\lambda {\sum }_{j=1}^d{\theta }_j^2$时，必然有
$$\tilde{\theta }=({\text{A}}^T\text{A}+\lambda \text{E}{)}^{-1}{\text{A}}^T\text{y}$$

其中$E$为$d\times d$的单位矩阵
$$\begin{gathered} ({\text{A}}^T\text{A}+\lambda \text{E})\tilde{\theta }={\text{A}}^T\text{y} \\ ({\text{A}}_1^T\text{A}+\lambda \text{E})\tilde{\theta }={\text{A}}_1^T\text{y} \\ (I^T\text{A}+\lambda \text{E})\tilde{\theta }=I^T\text{y} \\ [n+\lambda ,0,0,...,0{]}_{1\times d}^T\tilde{\theta }=I^T\text{y} \\ (n+\lambda ){\tilde{\theta }}_1=I^T\text{y} \\ {\tilde{\theta }}_1=\frac{I^T\text{y}}{n+\lambda } \end{gathered}$$

因为有
$$({\text{A}}_1^T\text{A}+\lambda \text{F})\hat{\theta }=({\text{A}}_1^T\text{A}+\lambda \text{E})\tilde{\theta }={\text{A}}_1^T\text{y}=I^T\text{y}$$

则有
$$\begin{gathered} ({\text{A}}^T\text{A}+\lambda \text{F})\hat{\theta }=({\text{A}}^T\text{A}+\lambda \text{E})\tilde{\theta }={\text{A}}^T\text{y} \\ =\left[\begin{array}{l}{I}^T\text{y},\\ a_{2,1}\times {\theta }_2+(a_{2,2}+1)\times {\theta }_3+...+a_{2,d}\times {\theta }_d,\\ ...\\ a_{d,1}\times {\theta }_2+a_{d,2}\times {\theta }_3+...+(a_{d,d}+1)\times {\theta }_d]\end{array}\right] \end{gathered}$$

最后的结果矩阵相同，证明$\hat{\theta }$与$\tilde{\theta }$的第$2\sim d$位是相同的。