机器学习算法总结, 本文将总结机器学习基本算法的目的，输入和输出，训练的参数，训练方法（误差函数的选择，调参方法）等等

机器学习算法总结

本文将总结机器学习基本算法的目的，输入和输出，训练的参数，训练方法（误差函数的选择，调参方法）等等

1. 线性回归

1. 函数形式（训练目标）：多元线性回归试图学得
   $$f(x_i)=w^{T}x+bst.f(x_i)=y_i$$

2. 函数的好坏度量：
   $$L(w,b)=(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}}{)}^T(\mathbf{y}-\mathbf{X}\hat{\mathbf{w}})$$
   对w_hat求导可得：
   $$\frac{\partial E_{\hat{w}}}{\partial \hat{w}}=2{\mathbf{X}}^{\mathbf{T}}(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$
   上式得0可得w_hat最优解的闭式解（但是有可能参数过多，无法求出）

   或者使用梯度下降对参数进行调整，得：
   $$w_i=w_i-\eta \sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n$$

2. logistic回归

1. 函数形式（训练目标）：逻辑回归处理分类问题，如果结果大于0.5结果为类别1，否则为类别2
   $$f_{w,b}(x)=\sigma (\sum _i{w}_i{x}_i+b)$$

2. 函数的好坏度量：
   $$L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))...f_{w,b}(x^N)$$
   找出最大化上述函数的w,b, 即得到最好的函数。最终化简结果为交叉熵, 即求下列函数右侧的最小值
   $$-lnL(w,b)=\sum _n-[{\hat{y}}^{n}ln{f}_{w,b}(x^n)+(1-{\hat{y}}^n)ln(1-f_{w,b}(x^n))]$$
   计算这个式子对w偏微分，得到
   $$\frac{-lnL(w,b)}{\partial w_i}=\sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n$$
   使用梯度下降法进行优化，直观就是观察预测值和实际值的差距，差距越大就更新越多
   $$w_i=w_i-\eta \sum _n-({\hat{y}}^n-f_{w,b}(x^n))x_i^n$$
   这个式子和线性回归得到的式子一样的，区别是预测值和实际值的范围不同，逻辑回归是0到1，线性回归是实数范围

Tips

1. 梯度下降法需要函数是可微分的

2. 回归任务的损失函数：最小二乘误差

3. 最大似然和最小误差的关系：目的相同，都是找到最佳的函数

4. MLE: Maximum likelihood Estimate, 极大似然估计
   $$Bayes:P(h|D)\frac{P(D|h)\ast P(h)}{P(D)}$$
   上式中，h为假设，即最终的函数形态，D为数据，左侧后验概率代表已知数据，假设为h的概率。右侧分子第一项代表已知假设，求得数据集是已知数据集的概率，即似然概率，p(h)则是先验概率。在线性回归中，可以通过高斯假设得出最大可能假设是最小化平方损失函数的假设。详细过程见 证明最小二乘假设的合理性。

3.信息论基本概念

1. 熵,$X$是离散型随机变量，取值空间为R。熵又称为自信息，可以视为描述一个变量的不确定性的值
   $$H(X)=-\sum _{xϵR}p(x)lo{g}_{2}p(x)$$

2. 联合熵，X,Y是一对离散型随机变量，遵守$p(x,y)$分布，联合熵定义为：
   $$H(X,Y)=-\sum _{xϵX}\sum _{yϵY}p(x,y)logp(x,y)$$

3. 给定随机变量X的情况下，Y的条件熵定义为：
   $$H(Y|X)=\sum _{xϵX}p(x)H(Y|X=x)$$
   展开可得：
   $$H(Y|X)=-\sum _{xϵX}\sum _{yϵY}p(x,y)logp(y|x)$$

4. 连锁法则

   将联合概率展开，可得熵的连锁法则
   $$H(X,Y)=H(X)+H(Y|X)$$

5. 互信息$I(X,Y)$反映的是知道了Y的值以后X的不确定性的减少量
   $$I(X,Y)=H(X)-H(X|Y)=\sum _{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$$
   互信息体现了两变量之间的依赖程度，如果互信息得0，两变量相互独立

6. 相对熵，是衡量相同事件空间里两个概率分布相对差距的测度，两个概率分布p(x)和q(x)的相对熵定义为：
   $$D(p||q)=\sum _{xϵX}p(x)log\frac{p(x)}{q(x)}$$

7. 交叉熵用来衡量估计模型与真实概率分布之间的差异情况。
   $$H(X,q)=H(X)+D(p||q)=-\sum _{x}p(x)logq(x)$$

4.支持向量机

1. 函数形式（训练目标）：

   线性向量机：
   $$f(x)=\sum _i{w}_i{x}_i+b=\left[\begin{array}{c}w\\ b\end{array}\right]dot\left[\begin{array}{c}x\\ 1\end{array}\right]$$

2. 损失函数：这里面的loss都是一个训练样例的loss, 累加之后才得到系统的所有loss
   $$hingeloss:l(f(x^n),{\hat{y}}^n)=max(0,1-{\hat{y}}^n(f(x^n)\ast (f(x^n))(0)$$

   $$Squareloss+Sigmoid:l(f(x^n),{\hat{y}}^n)=(\sigma ({\hat{y}}^{n}f(x))-1{)}^2(1)$$

   $$Sigmoid+crossentropyl(f(x^n),{\hat{y}}^n)=ln(1+exp(-{\hat{y}}^{n}f(x)))(2)$$

   由（0）可推导出损失函数（cost_1为label为1的损失函数）：
   $$\{\begin{array}{c}max(0,-x+1)(y^i=1)\\ max(0,x-1)(y^i=0)\end{array}$$

   $$J(\theta )=C\sum _{i=1}^m[y^{(i)}cost{t}_1({\theta }^T{x}^{(i)})+(1-y^{(i)})cost{t}_0({\theta }^T{x}^{(i)})]+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2$$
   这里的$C=\frac{m}{\lambda }$, C越大，SVM的决策边界margin也越大

   当C越大时，margin也越大，我们的目标是最小化代价函数$J(\theta )$, 所以C的乘积项
   $$\sum _{i=1}^m[y^{(i)}cost{t}_i({\theta }^T{x}^{(i)})+(1-y^{(i)})cost{t}_0({\theta }^T{x}^{(i)})]$$
   要很小。最终近似为：
   $$J(\theta )=C\ast 0+\frac{1}{2}\sum _{j=1}^n{\theta }_j^2=\frac{1}{2}({\theta }_1^2+{\theta }_2^2)$$
   我们的目标是求使代价最小的$\theta$

3. 几何论证：对于任意一个点，根据分类条件得出以下限制：
   $$\{\begin{array}{c}{\theta }^T{x}^{(i)}⩾1(y^i=1)\\ {\theta }^T{x}^{(i)}⩽-1(y^i=0)\end{array}$$
   将上述看为x和各个系数的点积，化为几何概念，可以得到：
   $$\{\begin{array}{c}{p}^{(i)}||\theta ||⩾1(y^i=1)\\ p^{(i)}||\theta ||⩽-1(y^i=0)\end{array}$$
   到$\theta$上的投影为p,则$p||\theta ||>=1$或者$p||\theta ||<=-1$, 如果因为要求$\theta$很小，所以p要求很大，最终求得的就是点在$\theta$方向投影最小，即在与$\theta$ 垂直的决策边界上投影最大。

4. RBF Kernel核函数

   RBF核函数，即高斯核函数，公式为：
   $$f(x)=e^{-\frac{||x-u|{|}^2}{2{\sigma }^2}}$$

5. Sigmoid Kernel核函数
   $$K(x,z)=tanh(x.dotz)$$

5.支持向量机(解释二)(其实二者的区别在于label为0和1还是-1和1)

如果是后者，则可以把代价函数合并，如下：

1. 函数形式（训练目标）：
   $$f(x)=\sum _i{w}_i{x}_i+b=\left[\begin{array}{c}w\\ b\end{array}\right]dot\left[\begin{array}{c}x\\ 1\end{array}\right]$$

2. 损失函数：
   $$L(f)=\sum _n{ϵ}^n+\lambda ||w|{|}_2$$

   $${ϵ}^n=max(0,1-{\hat{y}}^{n}f(x))$$

   由上式
   $$\begin{gathered} {ϵ}^n\ge 0 \\ {ϵ}^n\ge 1-{\hat{y}}^{n}f(x)\to {\hat{y}}^{n}f(x)\ge 1-{ϵ}^n \end{gathered}$$

3. 优化方式：
   $$w\leftarrow w-\eta \sum _n{c}^n(w)x^n$$
   w初始化为0，解出的结果是w是x的线性组合，$c^n(w)$是f对loss function的偏微分
   $$w=\sum _n{\alpha }_n{x}^n=X\alpha$$
   w是nx1维，$w^T$是1xn维，x是nx1，X是n*N，所以
   $$f(x)=w^T\ast x\to f(x)={\alpha }^T{X}^{T}x\to \sum _n{\alpha }_n(x^{n}dotx)$$
   $(x^{n}dotx)$可以记为$K(x^n,x)$

4. 重写损失函数：
   $$L(f)=\sum _{n}l(f(x^n),{\hat{y}}^n)=\sum _{n}l(\sum _{n^{\prime }}{\alpha }_{n^{\prime }}K(x^{n^{\prime }},x^n),{\hat{y}}^n)$$

5. 核函数Tips

   1. 核函数其实就是用来描述相似度的（向量的点积）
   2. 通过mercer’s 定理来检测所定核函数能否拆分成点积