几个算法比较

算法名称	模型	策略	求解算法
线性回归	$f(x)=W^T\cdot x+b$	最小二乘 $L(W,b)=(f(x)-y{)}^2$	梯度下降、牛顿法
LOSSO回归	$f(x)=W^T\cdot x+b$	最小二乘$L(W,b)=(f(x)-y{)}^2+\lambda ||W|{|}_1$	坐标下降法
岭回归	$f(x)=W^T\cdot x+b$	最小二乘$L(W,b)=(f(x)-y{)}^2+\frac{1}{2}\lambda W^2$	梯度下降
逻辑回归	$f(x)=\frac{1}{1+e^{-(W^T\cdot x+b)}}$	交叉熵损失$-lnp(y|x)=-\frac{1}{m}{\sum }_{i=1}^m(yln\hat{y}+(1-y)ln(1-\hat{y}))$, $\hat{y}=\frac{1}{1+e^{-(W^T\cdot X+b)}}$	梯度下降、牛顿法
感知机	$f(x)=sign(W^T\cdot x+b)$,sign是一个符号函数	让分错的点距离当前分离超平面距离尽可能的小$L(w,b)=-{\sum }_{x_i\in M}{y}_i(w{x}_i+b)$ M是所有分类错误点的集合	随机梯度下降：每找到一个错误的样本更新一次参数
K近邻	$y=argmax{\sum }_{x_i\in N_K(x)}I(y_i=c_j)$	-	-
朴素贝叶斯	$P(Y=c_k|X=x)=\frac{P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}{{\sum }_{k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)}$，条件独立性假设	经验风险期望最小化：$y=f(x)=argma{x}_{c_k}P(Y=c_k){\prod }_{j}P(X^{(j)}=x^{(j)}|Y=c_k)$	极大似然估计：$P(Y=c_k)=\frac{{\sum }_{i=1}^{N}I(y_i=c_k)}{N}$, $P(X^{(j)}=a_{jl}|Y=c_k)=\frac{{\sum }_{i=1}^{N}I(x_i^{(j)}=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$
SVM-线性可分	$f(x)=sign(W^T\cdot x+b)$	间隔最大化/合页损失:$min\frac{1}{2}||w|{|}^2$同时包含约束：$y_i(W^T\cdot x_i+b)-1>=0$	拉格朗日、SMO
SVM-线性近似可分	$f(x)=sign(W^T\cdot x+b)$	间隔最大化/合页损失:$min\frac{1}{2}||w|{|}^2+C{\sum }_{i=1}^N{\xi }_i$，同时包含约束：$y_i(w\cdot x_i+b)>=1-{\xi }_i$	拉格朗日、SMO
SVM-支持向量机	$f(x)=sign(W^T\cdot x+b)$	间隔最大化/合页损失:$mi{n}_{\alpha }\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_{j}K(x_i\cdot x_j)-{\sum }_{i=1}^N{\alpha }_i$同时包含约束：${\sum }_{i=1}^N{\alpha }_i{y}_i=0$，$0<={\alpha }_i<=C$	拉格朗日、SMO
CRF-概率计算	$P(y|x)=\frac{1}{Z(x)}{M}_i(y_{i-1},y_i|x)$	前向算法，后向算法
CRF-参数估计	$L(w)=log{\prod }_{x,y}P(y|x{)}^{\hat{P}(y|x)}={\sum }_{x,y}\hat{P}(y|x)logP(y|x)$	极大似然估计	梯度下降，改进的迭代尺度法、拟牛顿法
CR-序列标注	$y^{\ast }=argma{x}_{y}P(y|x)=argma{x}_y\frac{exp(w.F(y,x))}{Z(x)}=argma{x}_y(w.F(y,x))$	动态规划	维特比算法
HMM-概率计算	$P(O|\lambda )=P(O_1^T|\lambda )={\sum }_{i=1}^{N}P(O_1^T,i_T=q_i)={\sum }_{i=1}^N{\alpha }_T(i)$	前向算法，后向算法
HMM-学习问题	${\pi }^{\ast }=argmaxP(I|O,\lambda )$	EM算方法
HMM-序列标注	$y^{\ast }=argma{x}_{y}P(y|x)=argma{x}_y\frac{exp(w.F(y,x))}{Z(x)}=argma{x}_y(w.F(y,x))$	动态规划	维特比算法
Adaboost	$G(x)=sign(f(x))=sign({\sum }_{m=1}^M{\alpha }_m{G}_m(x))$	不断调整训练数据集数据的权重学习
Boosting	$f(x)={\sum }_{m=1}^M{\beta }_{m}b(x;r_m)$	前向分布算法
BDT	$f_M={\sum }_{m=1}^{M}T(x;{\theta }_m)$ $T(X)={\sum }_{j=1}^J{c}_{j}I(X\in R^j)$	最小二乘	残差
GBDT	$f_M={\sum }_{m=1}^{M}T(x;{\theta }_m)$	最小二乘	f(x)的一阶梯度
xgboost	$f(X)=W_{q(X)}$ $\widehat{y_i}={\sum }_{k=1}^K{f}_k(X_i)$ $L={\sum }_{i=1}^{n}l(y_i,{\hat{y}}_i)+{\sum }_K\Omega (f_k)$	最小二乘	一阶梯度，二阶梯度