复现经典：《统计学习方法》第22章 无监督学习方法总结

第22章 无监督学习方法总结

本文是李航老师的《统计学习方法》一书的代码复现。作者：黄海广

备注：代码都可以在github中下载。我将陆续将代码发布在公众号“机器学习初学者”，可以在这个专辑在线阅读。

无监督学习方法的关系和特点

第2篇详细介绍了八种常用的统计机器学习方法，即聚类方法（包括层次聚类与k均值聚类）、奇异值分解（SVD）、主成分分析（PCA）、无监督学习方法总结 22.1无监潜在语义分析（LSA）、概率潜在语义分析（PLSA）、马尔可夫链蒙特卡罗法（CMC，包括 Metropolis-Hastings-算法和吉布斯抽样）、潜在狄利克雷分配（LDA）、 PageRank算法。此外，还简单介绍了另外三种常用的统计机器学习方法，即非负矩阵分解（NMF）变分推理、幂法。这些方法通常用于无监督学习的聚类、降维、话题分析以及图分析。

表 无监督学习方法的特点

	方法	模型	策略	算法
聚类	层次聚类	聚类树	类内样本距离最小	启发式算法
	k均值聚类	k中心聚类	样本与类中心距离最小	迭代算法
	高斯混合模型	高斯混合模型	似然函数最大	EM算法
降维	PCA	低维正交空间	方差最大	SVD
话题分析	LSA	矩阵分解模型	平方损失最小	SVD
	NMF	矩阵分解模型	平方损失最小	非负矩阵分解
	PLSA	PLSA模型	似然函数最大	EM算法
	LDA	LDA模型	后验概率估计	吉布斯抽样，变分推理
图分析	PageRank	有向图上的马尔可夫链	平稳分布求解	幂法

表 含有隐变量概率模型的学习方法的特点

算法	基本原理	收敛性	收敛速度	实现难易度	适合问题
EM算法	迭代计算、后验概率估计	收敛于局部最优	较快	容易	简单模型
变分推理	迭代计算、后验概率近似估计	收敛于局部最优	较慢	较复杂	复杂模型
吉布斯抽样	随机抽样、后验概率估计	依概率收敛于全局最优	较慢	容易	复杂模型

表 矩阵分解的角度看话题模型

下载地址

https://github.com/fengdu78/lihang-code

参考资料：

[1] 《统计学习方法》: https://baike.baidu.com/item/统计学习方法/10430179

[2] 黄海广: https://github.com/fengdu78

[3]  github: https://github.com/fengdu78/lihang-code

想脱单，找湾区人工智能

认识帅张，维权不再难

用法律武器，痛击腾讯侵权行为！！！湾区人工智能可以改善知识产权现状吗？

【中美之争】其实已经失去了悬念 (深度好文)|湾区人工智能

【欧洲已死】李开复：欧洲人工智能毫无希望

80后，天才程序员， Facebook 第一任 CTO，看看开挂的人生到底有多变态？

【厂妹进谷歌】从富士康流水线小妹到 Google 工程师，She made it !!！

【刚刚】世界顶级名校：美国斯坦福大学在人工智能领域诞生了一位来自中国的女神

【24万欧】国外人工智能计算机博士自述面试经历

看看你的母校是否开通了人工智能及其相关专业

IT行业高工资的时代已经结束了 | 紫竹张先生

凌晨一点的粤海街道对抗来自美国的力量|湾区人工智能

进入顶层社会的顺序是什么？

程序员的周末是风花雪月还是孤独寂寞？

每天都要刷碗的清贫博士后，生活捉襟见肘，国外华人也不容易

农村的未来，一|深度揭秘俄罗斯远东真相（上）|湾区人工智能

为什么农村出来的大学生大多混得比较差？

【月薪三万】听说深圳老师工资全国最高！！！比德国还高

【幸福的猪】德国难民躺赢的人生：和三个老婆造人就是神圣不可侮辱的职业

长按扫码撩海归

   觉得不错， 请随意转发，麻烦点个在看！