【机器学习】常用算法特点总结

符号约定

假设训练集$(\text{X},\text{y})$有 $n$ 个特征，$N$个样本

$\text{X}=\left[\begin{array}{c}{\text{x}}_1^T\\ {\text{x}}_2^T\\ ⋮\\ {\text{x}}_N^T\end{array}\right]\text{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ ⋮\\ y_N\end{array}\right]$

其中 ${\text{x}}_i^T=(x_{i1},x_{i2},...,x_{in})$ 表示一个样本，$y_i$表示${\text{x}}_i$对应的标签值（连续的或离散的，假如是离散的那么假设有 $K$ 种取值）

$\hat{y}$表示模型对$\text{x}$的预测值

算法对比

算法名称	适用的问题	损失函数 / 优化目标	参数求解 / 调参方法	最终模型
线性回归	回归问题	$$\begin{gathered} \min (\text{y}-{\text{X}}^{\prime }{\mathbf{\omega }}^{\prime }{)}^T(\text{y}-{\text{X}}^{\prime }{\mathbf{\omega }}^{\prime }) \\ {\text{X}}^{\prime }=\left[\begin{array}{cc}{\text{x}}_1^T& 1\\ {\text{x}}_2^T& 1\\ ⋮& ⋮\\ {\text{x}}_N^T& 1\end{array}\right]{\mathbf{\omega }}^{\prime }=\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\\ ⋮\\ {\omega }_n\\ b\end{array}\right] \end{gathered}$$	${\mathbf{\omega }}^{\prime }=({\text{X}}^{\prime T}{\text{X}}^{\prime }{)}^{-1}{\text{X}}^{\prime T}\text{y}$ （注1）	$\hat{y}=({\text{x}}^T,1)\cdot {\mathbf{\omega }}^{\prime }$
感知机	二分类问题	$\min \left(-{\sum }_{{\hat{y}}_i\ne y_i}{y}_i({\text{x}}_i^T\mathbf{\omega }+b)\right)$	随机梯度下降（SGD） （注2）	$\hat{y}=sign({\text{x}}^T\mathbf{\omega }+b)$
逻辑回归	二分类问题 （注3）	$$\begin{gathered} \min \left(-{\sum }_i(y_i\ln sigmoid({\text{x}}_i^{\prime T}{\mathbf{\omega }}^{\prime })+(1-y_i)\ln (1-sigmoid({\text{x}}_i^{\prime T}{\mathbf{\omega }}^{\prime })))\right) \\ {\text{x}}^{\prime }=\left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\\ 1\end{array}\right]{\mathbf{\omega }}^{\prime }=\left[\begin{array}{c}{\omega }_1\\ {\omega }_2\\ ⋮\\ {\omega }_n\\ b\end{array}\right] \end{gathered}$$	梯度下降	$P(\hat{y}=1)=sigmoid(({\text{x}}^T,1)\cdot {\mathbf{\omega }}^{\prime })$
线性判别分析（LDA）	多分类问题	${\max }_{\text{W}}\frac{tr({\text{W}}^T{\text{S}}_b\text{W})}{tr({\text{W}}^T{\text{S}}_{\omega }\text{W})}$ (注4)	求解特征方程 ${\text{S}}_{\omega }^{-1}{\text{S}}_b\text{W}=\lambda \text{W}$ 得到 $\text{W}$ （注4）	将距离 ${\text{W}}^T\text{x}$ 最近的那个类作为预测结果
决策树（ID3)	多分类问题	$\max (S(D)-S(D/A))$ (注5)	——	分类树
决策树（C4.5）	多分类问题	$\max \frac{(S(D)-S(D/A))}{S_A(D)}$ （注6）	——	分类树
决策树（CART）	多分类及回归问题	分类树： $\min \left(1-{\sum }_i^K{p}_i^2\right)$ 回归树：$mi{n}_{A,s}\left({\sum }_{x_i\in D_1}(y_i-c_1{)}^2+{\sum }_{x_i\in D_2}(y_i-c_2{)}^2\right)$ （注7）	——	分类 / 回归树
支持向量机 （注8）	二分类及回归问题	SVM：$\min \left(\frac{1}{2}{\Vert \mathbf{\omega }\Vert }^2+C{\sum }_i{\xi }_i\right)$ SVR：$\min \left(\frac{1}{2}{\Vert \mathbf{\omega }\Vert }^2+C{\sum }_i{l}_{ϵ}(f({\text{x}}_i)-y_i)\right)$	SMO算法	SVM：$\hat{y}=sign({\mathbf{\omega }}^T\text{x}+b)$ SVR：$\hat{y}={\mathbf{\omega }}^T\text{x}+b$
朴素贝叶斯	多分类问题	$\max {\sum }_{\text{x}\in D_c}\log P(\text{x}/{\theta }_c)$ （注9）	极大似然估计 （注9）	$\hat{y}=\underset{c}{\mathrm{argmax}}P(c){\prod }_{i}P(x_i/c)$
Kmeans	无监督学习	——	“手肘点”（注10）	——
K近邻	多分类及回归问题	分类：0-1损失 回归：平方损失 （注11）	交叉验证调参 （注11）	分类问题：$\hat{y}=argma{x}_{c_j}{\sum }_{({\text{x}}_i,y_i)\in N_k({\text{x}}_i)}\mathbb{I}(y_i=c_j)$ 回归问题：$\hat{y}=\frac{1}{k}{\sum }_{({\text{x}}_i,y_i)\in N_k({\text{x}}_i)}{y}_i$ （注11）
Adaboost （注12）	二分类及回归问题	分类：$\min {\sum }_i\exp (-y_{i}f({\text{x}}_i))$ 回归：$\min {\sum }_i{\omega }_i{e}_i$	${\alpha }_k=\frac{1}{2}\ln \frac{1-er{r}_k}{er{r}_k}$	分类：$\hat{y}=sign\left({\sum }_i^m{\alpha }_i{g}_i(\text{x})\right)$ 回归：$\hat{y}=g_{k^{\ast }}(\text{x})$
神经网络	多分类及回归问题	分类：交叉熵损失等 回归：平方损失等	误差逆传播算法（BP算法）	神经网络

• 注1
  可能有人会将该式做如下化简：$$\begin{array}{rl}{\mathbf{\omega }}^{\prime }& =({\text{X}}^{\prime T}{\text{X}}^{\prime }{)}^{-1}{\text{X}}^{\prime T}\text{y}\\ & =({\text{X}}^{\prime }{)}^{-1}({\text{X}}^{\prime T}{)}^{-1}{\text{X}}^{\prime T}\text{y}\\ & =({\text{X}}^{\prime }{)}^{-1}\text{y}\end{array}$$
  这是错误的，因为逆矩阵是对方阵定义的，而训练数据组成的矩阵 ${\text{X}}^{\prime }$ 大概率不是方阵，自然没有逆矩阵
• 注2
  相较于批量梯度下降（BGD）用所有样本计算梯度，随机梯度下降（SGD）每次只用一个样本计算梯度：$$BGD:{\mathbf{\omega }}^{t+1}={\mathbf{\omega }}^t+\frac{1}{N}\sum _i^N\eta y_i{\text{x}}_i$$
  $$SGD:{\mathbf{\omega }}^{t+1}={\mathbf{\omega }}^t+\eta y_i{\text{x}}_i$$注意感知机算法中每次用于计算梯度的样本一定是分类错误的样本
• 注3
  其实逻辑回归算法可以直接推广到多分类的情形，假设分类问题有 $K$ 个类，那么此时的逻辑回归损失函数具有以下形式：
  $$L=-\sum _i(\mathbb{I}(y_i=1)\ln P({\hat{y}}_i=1|{\text{x}}_i)+\mathbb{I}(y_i=2)\ln P({\hat{y}}_i=2|{\text{x}}_i)+\dots +\mathbb{I}(y_i=K)\ln P({\hat{y}}_i=K|{\text{x}}_i))$$
  其中$$\mathbb{I}(y_i=k)=\{\begin{array}{ll}1& y_i=k\\ 0& y_i\ne k\end{array}$$
  $$\begin{gathered} P({\hat{y}}_i=k|{\text{x}}_i)=\frac{\exp ({\text{x}}_i^{\prime T}{\mathbf{\omega }}_k^{\prime })}{1+{\sum }_{j=1}^{K-1}\exp ({\text{x}}_i^{\prime T}{\mathbf{\omega }}_j^{\prime })}k=1,2,\dots ,K-1 \\ P({\hat{y}}_i=K|{\text{x}}_i)=\frac{1}{1+{\sum }_{j=1}^{K-1}\exp ({\text{x}}_i^{\prime T}{\mathbf{\omega }}_j^{\prime })} \end{gathered}$$
  其中 ${\text{x}}^{\prime },{\mathbf{\omega }}^{\prime }$ 依然是增广后的 $\text{x},\mathbf{\omega }$：
  $${\text{x}}^{\prime }=\left[\begin{array}{c}\text{x}\\ 1\end{array}\right]{\mathbf{\omega }}^{\prime }=\left[\begin{array}{c}\mathbf{\omega }\\ b\end{array}\right]$$
  但是示性函数 $\mathbb{I}(y_i=k)$ 使梯度的计算不太方便，因而更常用的是OvO（One vs. One）和OvR（One vs. Rest）策略，前者利用任意两个不同类别的样本构造一个二分类模型，因此对于一个 $K$ 类分类问题一共会训练 $C_K^2$ 个二分类模型，预测时将样本分别输入这些二分类模型，每个模型都会输出一个类别，最终将出现次数最多的那个类别作为预测结果；后者则只训练 $K$ 个二分类模型，这些二分类模型依次将 $K$ 个类中每个类标为正类，同时把其余类别均标为负类去训练，预测时将样本分别输入这些二分类模型，此时可能有多个模型将其预测为正类，最终选置信度最大的那个模型对应的类别作为预测结果。
• 注4
  假设有 $K$ 个类，属于第 $i$ 类的样本记为 { x i } \{\textbf{x}_i\} {xi​}，有 $n_i$ 个，且第 $i$ 类的均值向量为 ${\mathbf{\mu }}_i$ ，所有样本的均值向量为 $\mathbf{\mu }$，定义全局散度矩阵 ${\text{S}}_t$：
  $${\text{S}}_t=\sum _{i=1}^N({\text{x}}_i-\mathbf{\mu })({\text{x}}_i-\mathbf{\mu }{)}^T$$
  类内散度矩阵 ${\text{S}}_{\omega }$：
  S ω = ∑ i = 1 K ∑ x ∈ { x i } ( x − μ i ) ( x − μ i ) T \textbf{S}_{\omega}=\sum_{i=1}^K\sum_{\textbf{x}\in\{\textbf{x}_i\}}(\textbf{x}-\boldsymbol{\mu}_i)(\textbf{x}-\boldsymbol{\mu}_i)^T Sω​=i=1∑K​x∈{xi​}∑​(x−μi​)(x−μi​)T
  则类间散度矩阵 ${\text{S}}_b$：$${\text{S}}_b={\text{S}}_t-{\text{S}}_{\omega }=\sum _{i=1}^K{n}_i({\mathbf{\mu }}_i-\mathbf{\mu })({\mathbf{\mu }}_i-\mathbf{\mu }{)}^T$$
  线性判别分析的思路是将所有样本投影到一个低维空间，使得在这个空间里不同类之间有较好的区分度，即不同类的样本中心距离（$tr({\text{W}}^T{\text{S}}_b\text{W})$）尽可能大；属于同一个类的样本尽可能靠近，即类内样本距离（$tr({\text{W}}^T{\text{S}}_{\omega }\text{W})$）尽可能小，于是得到LDA的优化目标：
  $$\underset{\text{W}}{\max }\frac{tr({\text{W}}^T{\text{S}}_b\text{W})}{tr({\text{W}}^T{\text{S}}_{\omega }\text{W})}$$
  注意到分子分母都是 $\text{W}$ 的二次项，因此求解的结果只与 $\text{W}$ 的方向有关，因此不妨令 $tr({\text{W}}^T{\text{S}}_{\omega }\text{W})=1$，则原问题转化为：
  $$\begin{gathered} \underset{\text{W}}{\max }tr({\text{W}}^T{\text{S}}_b\text{W}) \\ s.t.tr({\text{W}}^T{\text{S}}_{\omega }\text{W})=1 \end{gathered}$$
  根据拉格朗日乘子法，原问题取极值时有：
  $$\frac{d}{d\text{W}}(-tr({\text{W}}^T{\text{S}}_b\text{W})+\lambda (tr({\text{W}}^T{\text{S}}_{\omega }\text{W})-1))=0$$
  化简即得：
  $${\text{S}}_b\text{W}=\lambda {\text{S}}_{\omega }\text{W}$$
• 注5，6，7
  决策树的生成是递归式的，对于ID3算法，每次分叉时需要考察当前可以利用的所有特征，分别计算按其中一个特征的不同取值进行分叉时的信息增益，最终选择信息增益最大的那个特征分叉：假设当前节点样本集为 $D$，其包含的样本数为 $N$，标签有 $K$ 类，属于第 $k$ 类的样本有 $N^k$ 个（$k$ 仅仅是上标，不代表指数运算），可以利用的特征为 { A 1 , A 2 , … , A i , … } \{A_1,A_2, \ldots, A_i, \ldots\} {A1​,A2​,…,Ai​,…}，其中特征 $A_i$ 的取值有 $a$ 个（Quinlan在提出ID3算法时没有考虑连续型特征，因此这里的特征 $A$ 默认为离散型特征），那么以 $A_i$ 分叉可以将当前样本集分成 $a$ 组，每一组的样本数量记为 $N_j$，其中属于第 $k$ 类的样本数为 $N_j^k$，则以 $A_i$ 分叉获得的信息增益为：
  $$\begin{array}{rl}gain(D,A_i)& =S(D)-S(D|A_i)\\ & =-\sum _{k=1}^K\frac{N^k}{N}\ln \left(\frac{N^k}{N}\right)+\sum _{j=1}^a\frac{N_j}{N}\sum _{k=1}^K\frac{N_j^k}{N_j}\ln \left(\frac{N_j^k}{N_j}\right)\end{array}$$
  同理计算出以其他可用特征分叉获得的信息增益，最终选择信息增益最大的特征分叉
  ID3算法的性质使得它会偏好取值多的特征，因此C4.5算法在特征选择上做了改进，以信息增益率作为衡量特征的标准：
  $$\begin{gathered} gain\_rate(D,A_i)=\frac{gain(D,A_i)}{S_{A_i}(D)} \\ {S}_{A_i}(D)=-\sum _{j=1}^a\frac{N_j}{N}\ln \frac{N_j}{N} \end{gathered}$$
  此外C4.5可以处理连续型特征，处理方法与CART相同，见下文
  分类回归树（CART）即可以用于分类问题也可以用于回归问题，它在构建分类树和回归树时采用了不同的指标；在构建回归树时通过最小化平方误差来选择特征，举个例子，假设在当前节点考察以特征 $A$ 分叉的效果，如果特征 $A$ 是离散型特征，且取值有序关系（比如年龄取值为青年，中年，老年），那么可以将该特征做离散化编码，然后按连续型特征的处理方法处理；如果没有序关系（比如职业取值为工人，教师，企业家），那么遍历所有可能的划分方法（{工人}{教师，企业家}、{教师}{工人，企业家}、{企业家}{教师，工人}），选出平方误差最小的那个，每个节点的预测值即该节点所有样本的标签值的平均值；如果特征 $A$ 是连续型特征，那么先将特征 $A$ 的取值按从小到大的顺序排序 $[a_1,a_2,...,a_n]$，然后依次以 $\frac{a_1+a_2}{2},\frac{a_2+a_3}{2},...,\frac{a_{n-1}+a_n}{2}$ 作为阈值将当前节点的样本划分为两类： D 1 = { x ∣ x 在 特 征 A 上 的 取 值 小 于 等 于 阈 值 } D_1=\{x|x在特征A上的取值小于等于阈值\} D1​={x∣x在特征A上的取值小于等于阈值} D 2 = { x ∣ x 在 特 征 A 上 的 取 值 大 于 阈 值 } D_2=\{x|x在特征A上的取值大于阈值\} D2​={x∣x在特征A上的取值大于阈值}，记集合 $D_1$ 样本数为 $N_1$ ，集合 $D_2$ 样本数为 $N_2$，它们的预测值分别是两个集合中所有样本的标签值的平均值，分别记为 $c_1$ $c_2$，计算此时的平方误差：$$\sum _{(x_i,y_i)\in D_1}(y_i-c_1{)}^2+\sum _{(x_i,y_i)\in D_2}(y_i-c_2{)}^2$$ 遍历所有可选的特征 $A$ 和可能的切分点 $s$，最终选择平方误差最小的那个特征及其切分方法：$$(A,s)=mi{n}_{A,s}\left(\sum _{(x_i,y_i)\in D_1}(y_i-c_1{)}^2+\sum _{(x_i,y_i)\in D_2}(y_i-c_2{)}^2\right)$$在构建分类树时CART对特征的处理方式和上述相同，但是采用基尼指数作为选择特征的标准；假设当前节点样本集为 $D$，样本数为 $N$，使用特征 $A$ 将当前节点划分为两类 $D_1$ $D_2$，样本数分别为 $N_1$ $N_2$，$N_1^k$ 表示 $D_1$ 中属于第 $k$ 类的样本数，同理$N_2^k$ 表示 $D_2$ 中属于第 $k$ 类的样本数，那么该划分结果的基尼指数为：$$\begin{array}{rl}gini(D,A)& =\frac{N_1}{N}gini(D_1)+\frac{N_2}{N}gini(D_2)\\ & =\frac{N_1}{N}\left(1-\sum _k^K{\left(\frac{N_1^k}{N_1}\right)}^2\right)+\frac{N_2}{N}\left(1-\sum _k^K{\left(\frac{N_2^k}{N_2}\right)}^2\right)\end{array}$$
  最后选择基尼指数最小的那个特征及其切分方法进行分叉
• 注8
  SVM是老生常谈的算法了，这里不做介绍，只讲解SVR算法
  和普通的线性回归要求样本点到超平面的距离越小越好不同，SVR允许超平面有 $ϵ$ 的误差，即只要样本点落在 $[{\mathbf{\omega }}^T\text{x}+b-ϵ,{\mathbf{\omega }}^T\text{x}+b+ϵ]$ 这个薄层内都算成功拟合，同时类似SVM，SVR也要求最大化超平面与样本之间的间隔，因此SVR要求解的问题为：$$\begin{gathered} \min \left(\frac{1}{2}{\Vert \mathbf{\omega }\Vert }^2+C\sum _i^N{l}_{ϵ}(f({\text{x}}_i)-y_i)\right) \\ {l}_{ϵ}(x)=\{\begin{array}{ll}0,& if|x|\le ϵ\\ |x|-ϵ,& otherwise\end{array} \end{gathered}$$引入松弛变量 $\xi$ $\zeta$：
  $$\begin{gathered} {\mathbf{\omega }}^T{\text{x}}_i+b-y_i\le ϵ+{\xi }_i \\ {y}_i-{\mathbf{\omega }}^T{\text{x}}_i-b\le ϵ+{\zeta }_i \end{gathered}$$
  
  则原问题可转化为：$$\begin{gathered} \min \left(\frac{1}{2}{\Vert \mathbf{\omega }\Vert }^2+C\sum _i^N\left({\xi }_i+{\zeta }_i\right)\right) \\ s.t.{\mathbf{\omega }}^T{\text{x}}_i+b-y_i\le ϵ+{\xi }_i \\ {y}_i-{\mathbf{\omega }}^T{\text{x}}_i-b\le ϵ+{\zeta }_i \\ {\xi }_i\ge 0 \\ {\zeta }_i\ge 0 \end{gathered}$$构造朗格朗日函数 $\mathcal{L}$：
  $$\mathcal{L}=\frac{1}{2}{\Vert \mathbf{\omega }\Vert }^2+C\sum _i^N\left({\xi }_i+{\zeta }_i\right)+\sum _i^N{\alpha }_i\left({\mathbf{\omega }}^T{\text{x}}_i+b-y_i-ϵ-{\xi }_i\right)+\sum _i^N{\beta }_i\left(y_i-{\mathbf{\omega }}^T{\text{x}}_i-b-ϵ-{\zeta }_i\right)-\sum _i^N{\mu }_i{\xi }_i-\sum _i^N{\nu }_i{\zeta }_i$$
  其中 $\alpha \ge 0,\beta \ge 0,\mu \ge 0,\nu \ge 0$ 为朗格朗日乘子，分别令 $\mathcal{L}$ 对 $\mathbf{\omega }$、$b$、${\xi }_i$、${\zeta }_i$ 的偏导等于0可得：
  $$\begin{gathered} \mathbf{\omega }=\sum _i^N\left({\beta }_i-{\alpha }_i\right){\text{x}}_i \\ \sum _i^N{\alpha }_i=\sum _i^N{\beta }_i \\ C={\alpha }_i+{\mu }_i \\ C={\beta }_i+{\nu }_i \end{gathered}$$代入 $\mathcal{L}$ 得原问题的对偶问题：
  $$\begin{gathered} \max \sum _i^N\left(y_i({\beta }_i-{\alpha }_i)+ϵ({\beta }_i+{\alpha }_i)\right)-\frac{1}{2}\sum _i^N\sum _j^N({\beta }_i-{\alpha }_i)({\beta }_j-{\alpha }_j){\text{x}}_i^T{\text{x}}_j \\ s.t.\sum _i^N{\alpha }_i=\sum _i^N{\beta }_i \\ 0\le {\alpha }_i,{\beta }_i\le C \end{gathered}$$该问题对应的KKT条件为：
  $$\begin{gathered} {\alpha }_i\left({\mathbf{\omega }}^T{\text{x}}_i+b-y_i-ϵ-{\xi }_i\right)=0 \\ {\beta }_i\left(y_i-{\mathbf{\omega }}^T{\text{x}}_i-b-ϵ-{\zeta }_i\right)=0 \\ {\mu }_i{\xi }_i=(C-{\alpha }_i){\xi }_i=0 \\ {\nu }_i{\zeta }_i=(C-{\beta }_i){\zeta }_i=0 \\ {\alpha }_i{\beta }_i=0 \\ {\xi }_i{\zeta }_i=0 \end{gathered}$$
  最后两式是因为任一样本的 $y_i$ 或者在薄层上方或者在薄层下方，因此 $f({\text{x}}_i)-y_i-ϵ={\xi }_i$ 和 $y_i-f({\text{x}}_i)-ϵ={\zeta }_i$ 只能有一个成立，${\alpha }_i$ 和 ${\beta }_i$ 其中必有一个为0，即 ${\alpha }_i{\beta }_i=0$ ；再结合KKT条件中间两式又可推出 ${\xi }_i{\zeta }_i=0$
  和SVM一样，该问题可由序列最小最优化（SMO）算法求解，最终的模型有以下形式：$$\hat{y}=\sum _{i\in sv}\left({\beta }_i-{\alpha }_i\right){\text{x}}_i\text{x}+b$$其中 $sv$ 表示支持向量对应的下标集
  另外注意SMO算法求解得到的是 ${\alpha }_i$ 和 ${\beta }_i$，$\mathbf{\omega }$ 是由 ${\alpha }_i$ ${\beta }_i$ 和 ${\text{x}}_i$ 计算得出的；在计算 $b$ 时选出多个或所有满足 $0<{\alpha }_i<C$ 的样本，此时由KKT条件知： $$\begin{gathered} {\xi }_i=0 \\ {\mathbf{\omega }}^T{\text{x}}_i+b-y_i-ϵ-{\xi }_i={\mathbf{\omega }}^T{\text{x}}_i+b-y_i-ϵ=0 \end{gathered}$$因此 $b=y_i+ϵ-{\mathbf{\omega }}^T{\text{x}}_i$，用每个选出的样本计算得到一个 $b$，最后求这些解的平均值就得到了最终模型的 $b$
• 注9
  对于多分类问题，若记 $l_{ij}$ 为将属于第 $i$ 类的样本点误分为第 $j$ 类的损失，$P(c_j|\text{x})$ 表示模型将 $\text{x}$ 预测为第 $j$ 类的概率，则该问题的期望损失为 $$L={\mathbb{E}}_{\text{x}}\left(\sum _j{l}_{ij}P(c_j|\text{x})\right)$$ 为了最小化损失函数，注意到样本之间是独立的，可以通过最小化每个样本的期望损失来最小化总的损失，即：$$\min \left(\sum _j{l}_{ij}P(c_j|\text{x})\right)$$ 若将 $l_{ij}$ 取为0-1损失则有：$$\begin{array}{rl}\min \left(\sum _j{l}_{ij}P(c_j|\text{x})\right)& =\min \left(\sum _{j\ne i}P(c_j|\text{x})\right)\\ & =\min \left(1-P(c_i|\text{x})\right)\\ & =\max P(c_i|\text{x})\end{array}$$ 于是得到了后验概率最大化准则；根据贝叶斯公式，$P(c_i|\text{x})=\frac{P(\text{x}|c_i)P(c_i)}{P(\text{x})}$，对给定的样本，分母显然不会影响预测结果，于是模型的参数就是 $P(c_i)$ 和 $P(\text{x}|c_i)$；前者可以通过类标签出现的频率估计：$$P(c_i)=\frac{N_i}{N}$$ 其中 $N_i$ 表示属于第 $i$ 类的样本数量，$N$ 表示样本总数；为了计算后者，朴素贝叶斯算法进一步假设各个特征独立地影响样本的分类，因此 $$P(\text{x}|c_i)=\prod _f^{n}P(x^f|c_i)$$ 其中 $n$ 表示特征数量，于是得到数据集的对数似然函数：
  $$\begin{array}{rl}\log P& =\log \prod _k^K\prod _{{\text{x}}_i\in D_k}P(c_k|{\text{x}}_i)\\ & =\log \prod _k^K\prod _{{\text{x}}_i\in D_k}P(c_k)P({\text{x}}_i|c_k)\\ & =\log \prod _k^K\prod _{{\text{x}}_i\in D_k}P(c_k)\prod _f^{n}P(x_i^f|c_k)\end{array}$$ 极大化对数似然函数可得参数估计（由于计算比较繁琐，我没有亲自推导，如果有误欢迎指出）：
  1）若特征取值是离散的，则 $$P(x^f=a_{fm}|c_k)=\frac{{\sum }_i^N\mathbb{I}(x_i^f=a_{fm},y_i=c_k)}{N_k}$$ 其中 $x^f$ 表示 $\text{x}$ 的第 $f$ 个特征的取值，$a_{fm}$ 表示 $\text{x}$ 的第 $f$ 个特征的第 $m$ 种取值，$N_k$ 表示第 $k$ 类样本的样本数，$\mathbb{I}(\cdot )$ 是示性函数；实际应用中为了避免某特征的取值和某类别的组合未在训练集中出现从而导致概率为0，常采用贝叶斯估计：
  $$\begin{gathered} P(c_i)=\frac{N_i+\lambda }{N+K\lambda } \\ P(x^f=a_{fm}|c_k)=\frac{{\sum }_i^N\mathbb{I}(x_i^f=a_{fm},y_i=c_k)+\lambda }{N_k+M\lambda } \end{gathered}$$ 其中 $K$ 代表训练集总类别数，$M$ 代表 $\text{x}$ 的第 $f$ 个特征的不同取值的数量；$\lambda =1$ 时的贝叶斯估计也叫拉普拉斯平滑
  2）若特征取值是连续的，则概率的估计值取决于先验概率 $P(x_i^f|c_k)$ 的形式，一般取正态分布，此时 $$P(x^f|c_k)=\frac{1}{\sqrt{2\pi }{\sigma }_k^f}\exp \left(-\frac{(x^f-{\mu }_k^f{)}^2}{2({\sigma }_k^f{)}^2}\right)$$ 其中 ${\mu }_k^f$ 表示第 $k$ 类样本在第 $f$ 个属性上的均值， ${\sigma }_k^f$ 表示第 $k$ 类样本在第 $f$ 个属性上的标准差
• 注10
  Kmeans 算法的k值的确定一般是通过在不同k值下运行算法，分别计算所有样本点到它们各自的类中心的距离之和（inertia），然后以距离之和对k作图，该图的“手肘点”对应的k值即为最优的k值
  以sklearn的鸢尾花数据集为例：

  from sklearn.decomposition import PCA
  from sklearn.datasets import load_iris
  import matplotlib.pyplot as plt
  from sklearn.cluster import KMeans
  
  X = load_iris().data
  # 为了便于可视化，先将数据集降维到2维
  pca = PCA(n_components=2)
  data = pca.fit_transform(X)
  
  distances = []
  
  for k in range(1, 10):
      clf = KMeans(n_clusters=k)
      clf.fit(data)
      distances.append(clf.inertia_)
  
  plt.plot(list(range(1, 10)), distances)
  plt.xlabel('number of classes')
  plt.ylabel('inertia')
  plt.show()
  

  输出：
  可以看到在k=2处曲线有明显拐点（因该位置形似手肘亦称“手肘点”），因此将数据集分成2类最合适（值得注意的是数据集实际有3类），通过绘制数据集的散点图可以更清楚地看到为什么k=2最优：
  可以看到降维后的数据集确实形成了两个团簇
  该调参方法的思想很简单，假设最优分类数为 $k^{\ast }$，当 $k<k^{\ast }$ 时，必然有两个及以上的类被合并成一个类，注意到属于不同类的样本点之间的距离应大于属于同一类的样本点之间的距离，因此该混合类中样本点到类中心的距离之和应大于 $k=k^{\ast }$ 时样本点到各自的类中心点的距离之和，此时增加 $k$ 则 inertia 会有显著下降；当 $k>k^{\ast }$ 时，必然有一个及以上的类被拆分成两个或多个子类，此时增加 $k$ 则 inertia 虽然会下降但下降不会很明显；当 $k$ 达到最大值 $N$ 时每个样本点自成一类，此时 inertia 为0
• 注11
  k近邻（kNN）算法由3个基本要素决定：k值、距离度量和决策规则，其中k值是超参数，距离度量有多种选择，最常见的就是欧氏距离，决策规则也有多种，对分类问题来说一般采取多数表决，即找出距离待预测样本点最近的k个样本点，将这k个样本点中出现次数最多的那个类别作为预测结果：$$\hat{y}=\underset{c_j}{\mathrm{argmax}}\sum _{({\text{x}}_i,y_i)\in N_k({\text{x}}_i)}\mathbb{I}(y_i=c_j)$$其中 $N_k({\text{x}}_i)$ 表示距离 ${\text{x}}_i$ 最近的k个样本点的集合，$\mathbb{I}(y_i=c_j)$ 是示性函数，当且仅当 $y_i=c_j$ 时取1
  对回归问题则决策规则一般采用平均值法，即找出距离待预测样本点最近的k个样本点，将这k个样本点的标签值的平均值作为预测结果：$$\hat{y}=\frac{1}{k}\sum _{({\text{x}}_i,y_i)\in N_k({\text{x}}_i)}{y}_i$$不过当数据特征多于3个时还是线性回归的表现更好（见文末参考3）
  kNN的调参主要借助验证集进行调参，对于分类问题，对每个可能的 $k$ 值运行算法，分别计算模型的错误率，最终选择错误率最低的那个模型对应的 $k$ 值；对于回归问题，也是对每个可能的 $k$ 值运行算法，分别计算平方误差，最终选择错误率最低的那个模型对应的 $k$ 值
• 注12
  Adaboost原始算法是不可以直接推广到多分类问题的，不过有学者对其做了改进，得到了可以用于多分类问题的Adaboost算法变体，详情见Adaboost多分类
  关于Adaboost用于回归问题见参考2

参考

1. 刘建平，梯度下降（Gradient Descent）小结
2. 刘建平，集成学习之Adaboost算法原理小结
3. 梁斌炜，kNN回归
4. Jim Liang, Getting Started With Machine Learning
5. 李航，统计学习方法
6. 周志华，机器学习