机器学习复习part1

机器学习复习part1

线性代数复习

1. 表示方法：

   1. （，，，） - 行向量
   2. （；；；） - 列向量

2. 乘法

3. 矩阵转置
   $$\begin{gathered} AI=A=IA \\ (A^T{)}^T=A \\ (AB{)}^T=B^T{A}^T \\ (A+B{)}^T=A^T+B^T \end{gathered}$$

4. 矩阵求导

   1. $f:R^{m\times n}\to R$
      $$\begin{gathered} ({▽}_{A}f(A){)}_{ij}=\frac{\partial f(A)}{\partial A_{ij}} \\ {▽}_{A}f(A)\in R_{mn} \end{gathered}$$
      $e.g.:$ $f:R_M\to R$ and $f(z)=z^{T}z$

      • 此时${▽}_{z}f(z)=2z$ 把$z$ 当做变量
      • 但是另外一种情况是$▽f(Ax)$ 如果看做一个整体时，同上即$2Ax$,而如果单独对于$x$ 并不满足上面的矩阵对应关系，此时应该是$▽f(Ax)={▽}_{x}g(x)\in R^n$ 实际造成不同的原因是变量不同 。

   2. 二次项平方项

      1. $x\in R^n$ and $f(x)=b^{T}x$ and $b\in R^n$ and $f(x)={\sum }_{i=1}^n{b}_i{x}_i$

         此时 ${▽}_{x}f(x)=b$

      2. $f(x)=x^{T}Ax$ for $A\in S^n$

         此时${▽}_{x}f(x)=2Ax$

      3. 常用

      $$\begin{gathered} {▽}_x{b}^{T}x=b \\ {▽}_x{x}^{T}Ax=2Ax \\ {▽}_x^2{x}^{T}Ax=A(ifAissymmetric) \\ {A}^T=A \end{gathered}$$

   3. 最小平方项
      $$\begin{gathered} ||Ax-b|{|}_2^2=（Ax-b{）}^T(Ax-b)= \\ {x}^T{A}^{T}Ax-2b^{T}Ax+b^{T}b \\ {▽}_x=2A^{T}Ax-2A^{T}b \end{gathered}$$

5. 矩阵的迹：

   1. $trA={\sum }_{i=1}^n{A}_{ii}$
   2. 当$A\in R^{n\times n}$时，满足一些线性性质

6. 矩阵的秩

   1. for $A\in R^{m\times n},rank(A)<=min(m,n)$,if $rank(A)=min(m,n)$,then it is full rank

7. 求逆

   1. $A^{-1}A=I=A{A}^{-1}$
   2. 没有逆矩阵的情况：
      1. 不是方阵
      2. 不是满秩（full rank）

8. 特征值求解：

9. 补充求导:

---

线性模型复习

基本模型
$$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$$
其中$x$ 表示$(x_1;x_2;x_3;......x_d)$， $w$ 表示$(w_1,w_2,w_3......w_d)$， $b$ 是一个常数

线性回归

• 属性只有一个的时候

1. 假设模型如上$\mathbf{w},b$ 为待定参数

2. 构建目标函数：均方误差

3. 求解：最小二乘法
   $$(w^{\ast },b^{\ast })=argmi{n}_{w,b}\sum _{i=1}^n(f(x_i)-y_i{)}^2$$
   求导（前提是目标函数为凸函数，所以当导数等于零的时候取的最优解）
   $$\begin{gathered} \frac{\partial E(w,b)}{\partial w}=2(w\sum x_i^2-\sum (y_i-b)x_i) \\ \frac{\partial E(w,b)}{\partial b}=2(mb-\sum (y_i-w{x}_i) \\ w=\frac{\sum y_i(x_i-\bar{x})}{\sum x_i^2-\frac{1}{m}(\sum x_i^2{)}^2} \\ b=\frac{1}{m}\sum (y_i-w{x}_i) \end{gathered}$$

• 多属性时：（多元线性回归）

1. 数据说明：

   1. $\hat{\mathbf{w}}=(\mathbf{w};b)$ 把b引入，更好计算，此时为一个（d+1）维的列向量

   2. 数据集：$\mathbf{X}$

$$\begin{array}{cccc}{x}_{11}& x_{12}& ...x_{1d}& 1\\ x_{21}& x_{22}& ...x_{2d}& 1\\ ...& ...& ...& 1\\ x_{m1}& x_{m2}& ...x_{md}& 1\end{array}=\begin{array}{cc}{\mathbf{x}}_1^{\mathbf{T}}& 1\\ {\mathbf{x}}_2^{\mathbf{T}}& 1\\ ...& 1\\ {\mathbf{x}}_{\mathbf{m}}^{\mathbf{T}}& 1\end{array}$$

3. 此时
   $$\mathbf{y}=\mathbf{X}\hat{\mathbf{w}}$$
   而对于单独的一个$\mathbf{y}=(y_1;y_2,...y_m)$
   $$y_i=f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$$

$$E(\hat{\mathbf{w}})=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$

​ 求导
$$\begin{gathered} \frac{\partial E}{\partial \mathbf{w}}=2{\mathbf{X}}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}) \\ {\hat{\mathbf{w}}}^{\ast }=(X^{T}X{)}^{-1}{X}^{T}y \end{gathered}$$

​ tips:若$X^{T}X$并非列满秩矩阵:引入正则项：
$$\begin{gathered} E=(y-X\hat{w}{)}^T(y-X\hat{w})+\lambda ||w|{|}^2 \\ (\lambda >0) \\ {\hat{\mathbf{w}}}^{\ast }=(X^{T}X+\lambda I{)}^{-1}{X}^{T}y \end{gathered}$$

​

5. 得到后的应用：
   1. 回归和分类的区别可以理解为，分类为离散，回归为连续，但是同时回归可以作为概率转换为分类。
   2. 由上，在二分类问题如果labels(0,1)可以理解为0.5为分界线。划分两类问题。如果标签值不是直接分类的标识，转为线性分类问题。
   3. 广义线性模型

$$\begin{gathered} y=g(w^{T}x+b) \\ {g}^{-1}(y)=w^{T}x+b \end{gathered}$$

线性分类

---

对数几率回归

1. 把线性拟合转化为0-1分类(y表示看做正类的概率)

$$y=\frac{1}{1+e^{-z}}$$

2. 转为为线性模型（即）

$$ln(\frac{y}{1-y})=w^{T}x+b$$

3. 构建对数似然函数：

   1. 概率表示：

$p(y=1|x)=\frac{e^{w^{T}x+b}}{1+e^{w^{T}x+b}}$

$p(y=0|x)=\frac{1}{1+e^{w^{T}x+b}}$

2. 对数似然函数：

$l(w,b)={\sum }_{i=1}^{n}lnp(y=j|x_i,w,b);$
$p(y=j|x_i,w,b)=y_{i}p(y_i=1|x_i,w,b)+(1-y_i)y(y_i=0|x_i,w,b)$

$l(w,b)={\sum }_{i=1}^n[y_i(w^T{x}_i+b)-ln(1+e^{w^T{x}_i+b})]$

3. 凸优化，梯度下降法：
   $$\begin{gathered} w^{t+1}=w^t-\lambda △w=w^t-\lambda \frac{\partial l}{\partial w}{|}_{w=w^t,b=b^t} \\ {b}^{t+1}=b^t-\lambda △b=b^t-\lambda \frac{\partial l}{\partial b}{|}_{w=w^t,b=b^t} \\ \frac{\partial l}{\partial w}=-\sum [x_i{y}_i-x_{i}p(y_i=1|x_i,w,b)] \\ \frac{\partial l}{\partial b}=-\sum [y_i-p(y_i=1|x_i,w,b)] \end{gathered}$$

       while step < max_step:
           dw = np.zeros(sample_dim,float)
           db = 0.0
           step +=1
   
           for i in range(sample_num):
               xi,yi = train_sample[i],train_label[i]
   
               pi = 1 - 1/(1+np.exp(np.dot(w,xi)+b))
               dw +=(xi*yi - xi*pi)
               db +=(yi - pi)
           dw =-dw
           db =-db
           w -= learning_rate*dw
           b -= learning_rate*db
       self.w =w
       self.b =b

4. 分类:判断哪个概率大即是哪个类

线性判别分析（LDA）

核心思想：同类尽可能近，异类尽可能远（监督降维算法-投影到直线）

1. 数据集${({\mathbf{x}}_{\mathbf{i}},y)}_{i=1}^n$ 二分类问题
2. 投影前的每一类的均值&协方差矩阵：

$$\begin{gathered} {\mathbf{u}}_0=\frac{1}{n_0}\sum _{y_i=0}{x}_i \\ {\Sigma }_0=\frac{1}{n_0-1}\sum _{y_i=0}{x}_i{x}_i^T \end{gathered}$$

3. 投影后：(投影到直线均为实数)

$$\begin{gathered} \widehat{u_0}=w^T{u}_0 \\ \widehat{{\Sigma }_0}=w^T{\Sigma }_{1}w \end{gathered}$$

4. 最大化目标函数：

$$\begin{gathered} J=\frac{w^T{S}_{b}w}{w^T{S}_{w}w} \\ {S}_w={\Sigma }_0+{\Sigma }_1 \\ {S}_b=(u_0-u_1)(u_0-u_1{)}^T \end{gathered}$$

​ 等价表示：
$$\begin{gathered} min-w^T{S}_{b}w \\ s.t.w^T{S}_{w}w=1 \\ L=-w^T{S}_{b}w+\lambda (w^T{S}_{w}w-1) \\ \frac{\partial L}{\partial w} \\ {w}^{\ast }=S_w^{-1}(u_0-u_1) \end{gathered}$$

支持向量机

线性可分问题

1. 划分超平面：

$$w^{T}x+b=0$$

​ 最大化间隔即
$$\begin{gathered} ma{x}_{w,b}\frac{2}{||w||} \\ s.t.y_i(w^T{x}_i+b)>=1 \end{gathered}$$
​ 等效于
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}{||w||}^2 \\ s.t.y_i(w^T{x}_i+b)>=1 \end{gathered}$$
​ 是一个凸优化问题

2. 对偶问题（求解）:

• 拉格朗日函数

$$L=\frac{1}{2}{||w||}^2-\sum _{i=1}^n\alpha (y_i(w^T{x}_i+b)-1)$$

• 求偏导为零

$$w=\sum {\alpha }_i{y}_i{x}_i,\sum {\alpha }_i{y}_i=0$$

• 回代：

$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j-\sum {\alpha }_i \\ s.t.\sum {\alpha }_i{y}_i=0,{\alpha }_i>=0 \end{gathered}$$

3. 对偶问题求解（SMO）:

• 选取一对需要更新的${\alpha }_i,{\alpha }_j$

• 固定除了上面以为的参数求解

  • 仅考虑选定的参数：约束变为

  $${\alpha }_i{y}_i+{\alpha }_j{y}_j=-\sum _{k̸=i,j}{\alpha }_k{y}_k$$

  • 此时两个等式，一个单变量的二次规划，具有闭式解。（舍弃负数）

• 求b:支持向量方程$y_{i}f(x_i)=1$

3. 最终判定：$y=sign[f(x_i)]$

非线性可分问题

1. 引入松弛变量

$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}{||w||}^2+C\sum {\xi }_i \\ s.t.y_i(w^T{x}_i+b)>=1-{\xi }_i \\ {\xi }_i\ge 0 \end{gathered}$$

2. 类似上面

3. 特征映射

   • 原始问题

   $$\begin{gathered} mi{n}_{w,b}\frac{1}{2}{||w||}^2 \\ s.t.y_i(w^T\Phi (x_i)+b)>=1 \end{gathered}$$

   • 对偶问题

$$\begin{gathered} mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j\Phi (x_i{)}^T\Phi (x_j)-\sum {\alpha }_i \\ s.t.\sum {\alpha }_i{y}_i=0,{\alpha }_i>=0 \end{gathered}$$

• 核函数

  ​ 因为$w=\sum {\alpha }_i{y}_i{x}_i,$代入即最终
  $$f(x)=\sum {\alpha }_i{y}_i\Phi (x_i{)}^T\Phi (x)+b$$
  ​ 定义核函数$k:R^d\times R^d\to R,k(x,y)=\Phi (x{)}^T\Phi (y)$

  • 对称
  • 半正定

• 核矩阵：核函数的采样矩阵。

---

贝叶斯

基本数学公式(贝叶斯公式)

$$\begin{gathered} P(A|B)=\frac{P(A,B)}{P(B)}=\frac{P(B|A)P(A)}{P(B)}= \\ \frac{P(B|A)P(A)}{P(B|A)P(A)+P(B|\bar{A})P(\bar{A})} \end{gathered}$$

贝叶斯决策论

最优决策：使风险最小化

$R=P(c_1|B){\lambda }_{21}+P(c_2|B){\lambda }_{12}$

其中$P(c_1|B)$为实际为$c_1$的概率 （以下对于0,1损失分类）

• 极大似然法：

朴素贝叶斯分类器：（假设特征之间互不相关）

• 连续：一般高斯分布，极大似然法求参数

• 离散：直接数并计算