李航统计学习方法总结

最新推荐文章于 2024-08-02 17:25:52 发布

w_zhao

最新推荐文章于 2024-08-02 17:25:52 发布

阅读量1.6k

点赞数

分类专栏：笔记文章标签：机器学习李航统计学习

本文链接：https://blog.csdn.net/w_zhao/article/details/88789442

版权

笔记专栏收录该内容

7 篇文章 0 订阅

订阅专栏

10种统计学习方法特点的总结概括
方法	适用问题	模型特点	模型类型	学习策略	学习的损失函数	学习算法	备注
感知机	二类分类	分离超平面	判别模型	极小化误分类点到超平面的距离	误分类点到超平面距离（经验风险）	随机梯度下降
感知机	${\color{Blue} w \cdot x + b = 0}$		${\color{Blue} f(x) = sign(w \cdot x + b)}$	${\color{Blue} \min_{w,b}L(w,b) = -\sum_{x_{i} \in M}y_{i}(w \cdot x+b)}$
k近邻	多类分类，回归	特征空间，样本点	判别模型	k近邻算法的三要素：距离度量、k值选择、和分类决策规则。距离度量：欧氏距离和一般的 $\small L_{p}$ 距离常用的分类决策规则是多数表决，对应于经验风险最小化		k近邻算法的实现需要考虑如何快速搜索k个最近邻点，kd树是一种便于对k维空间中的数据进行快速检索的数据结构。
k近邻	$\small {\color{Blue} \sum _{x_{i} \in N_{k}(x)}I(y_{i}=c_{i}){\color{Red} }}$			kd树是二叉树，对应对k维空间的一个划分，其每个节点对应于k维空间划分中的一个超矩形区域。
朴素贝叶斯	多类分类	特征与类别的联合概率分布，条件独立性假设	生成模型（通过训练数据得到联合分布） ${\color{Blue} P(X,Y)=P(Y)P(X\|Y)}$	极大似然估计，极大后验概率估计(期望风险最小化)	对数似然损失	概率计算公式，EM算法
	多类分类	特征与类别的联合概率分布，条件独立性假设	生成模型（通过训练数据得到联合分布） ${\color{Blue} P(X,Y)=P(Y)P(X\|Y)}$	极大似然估计，极大后验概率估计(期望风险最小化)	对数似然损失	${\color{Blue} P(X= x\| Y=c_{k})}\\ {\color{Blue}=P(X^{(1)}=x^{(1)},...,X^{(n)}=x^{(n)}\|Y=c_{k})}\\ {\color{Blue}=\prod_{j=1}^{n}P(X^{(j)}=x^{(j)}\|Y=c_{k})}$
	${\color{Blue} P(Y\|X)=\tfrac{P(X,Y)}{P(X)} \\=\tfrac {P(Y)P(X\|Y)}{\sum_{Y}P(Y)P(X\|Y)}}$ ${\color{Blue} y=\arg \max _{c_{k}}P(Y=c_{k})\prod_{j=1}^{n}P(X_{j}=x^{j}\|Y=c_{k})}$			后验概率最大等价于0-1损失函数时的期望风险最小化
决策树	多类分类，回归	分类树，回归树	判别模型	正则化的极大似然估计（以损失函数为目标函数的最小化）	对数似然函数	特征选择，生成，剪枝	自上而下生成，自下而上剪枝

逻辑斯蒂回归与最大熵	多类分类	特征条件下类别的条件概率分布，对数线性模型	判别模型	极大似然估计，正则化的极大似然估计	逻辑斯蒂损失	改进的迭代尺度法IIS，梯度下降，拟牛顿法
		${\color{Blue} P(Y=k\|x) = \tfrac{exp(w_{k} \cdot x)}{1+\sum_{k=1}^{K-1}exp(w_{k} \cdot x)}, \, \; k=1,2,...,K-1}$ ${\color{Blue} P(Y=K\|x) = \tfrac{1}{1+\sum_{k=1}^{K-1}exp(w_{k} \cdot x)}}$				${\color{Blue} F(x) =\\ P(X\leq x)=\tfrac{1}{1+e^{-(x-\mu)/\gamma }}}$ ${\color{Blue} f(x) = F'(x) = \tfrac{e^{-(x-\mu)/\gamma}}{\gamma(1+e^{-(x-\mu)/\gamma})^2}}$
	最大熵	${\color{Blue} H(P)= -\sum_{x,y}\widetilde{P}(x)P(y\|x) \log P(y\|x)}$ ${\color{Blue} P_{w}(y\|x) = \tfrac{1}{Z_{w}(x)}\exp \left( \sum_{i=1}^{n}w_{i}f_{i}(x,y) \right)}$ ${\color{Blue} Z_{w}(x) = \sum_{y} \exp \left( \sum_{i=1}^{n}w_{i}f_{i}(x,y) \right)}$
支持向量机	二类分类	分离超平面	判别模型	极小化正则化合页损失，软间隔最大化	合页损失	序列最小最优化算法（SMO）	线性可分支持向量机线性支持向量机非线性支持向量机
		${\color{Blue} w^{}\cdot x+b^{}=0}$	${\color{Blue} f(x)=sign(w^{}\cdot x+b^{})}$	${\color{Blue} \min_{w,b} \tfrac{1}{2}\|\|w\|\|^2}$	$L(y(w \cdot x+b))=[1-y(w \cdot x+b)]_{+}$
提升方法	二类分类	弱分类器的线性组合	判别模型	极小化加法模型的指数损失	指数损失	前向分步加法算法

EM算法	概率模型参数估计	含隐变量概率模型		极大似然估计，极大后验概率估计	对数似然损失	迭代算法
		E步，求期望： ${\color{Blue} Q(\theta,\theta^{(i)})=\sum_{Z}\log P(Y,Z\|\theta) P(Z\|Y,\theta^{(i)})}$ M步，求极大： ${\color{Blue} \theta^{(i+1)}=\arg \max_{\theta}Q(\theta, \theta^{(i)})}$
隐马尔可夫模型	标注	观测序列与状态序列的联合概率分布模型	生成模型	极大似然估计，极大后验概率估计	对数似然损失	概率计算公式，EM算法	概率计算算法学习算法预测算法

条件随机场	标注	状态序列条件下观测序列的条件概率分布，对数线性模型	判别模型	极大似然估计，极大后验概率估计	对数似然损失	改进的迭代尺度法，梯度下降，拟牛顿法	概率计算算法学习算法预测算法

参考文献：[1] 李航.统计学习方法[M], 清华大学出版社, 2012.3, ISBN 978-7-302-27595-4

w_zhao

关注

0
点赞
踩
7

收藏

觉得还不错? 一键收藏
0
评论
李航统计学习方法总结

10种统计学习方法特点的总结概括方法适用问题模型特点模型类型学习策略学习的损失函数学习算法备注感知机二类分类分离超平面判别模型极小化误分类点到超平面的距离误分类点到超平面距离（经验风险）随机梯度下降 ...
复制链接

扫一扫

专栏目录