- 博客(7)
- 收藏
- 关注
RSS订阅原创 一步一步机器学习(七)：从k-means到GMM-EM算法再到VI
从本节开始进入了无监督学习部分，这次笔记主要是对于聚类问题的一点基础理解，推导到最后的变分推断，在深度学习中的自编码器应用中有重要意义。笔记整理如下:关于k-means部分内容，参考了深入浅出k-means算法博客内容，里面有相应代码可供实践；混合高斯模型与EM算法可以参考详解EM算法与混合高斯模型这篇博文，含有大量图片帮助直观理解；最后变分推断部分可以参考变分推断这一篇，解释...
2020-03-05 11:47:54
297
1
原创 一步一步机器学习（六）：模型选择和正则化
本章关注的问题是如何从H类(假设空间)中选择合适的模型，由此过渡到讨论模型选择中的特殊问题特征选择。好的特征往往能决定模型训练的上限。从这个角度来看，本章的理论知识至关重要。后半部分讨论的是从贝叶斯统计(Bayesian Statistics)角度解读正则化，并从理论上推导了正则化项数学上等价于最大后验估计(MAP)中引入的先验。这个结论是非平凡的，因为这从统计学角度阐述了MAP与ML(极大似然...
2020-02-26 21:04:52
165
原创 一步一步机器学习（五）：学习理论
从本章开始将进入机器学习理论部分的学习，对于模型选择的评估与权衡在我们实际进行机器学习实验时候具有指导意义。同时本章在统计学意义上把很多大家耳熟能详的“过拟合”、“欠拟合”等概念定量联系了起来。本章及以后的内容可能会有些枯燥，但对深入了解机器学习有很大的帮助。学习理论笔记总结如下：关于打散（shatter)、VC维等概念可以参考如何通俗的理解机器学习中的VC维、shatter和...
2020-02-25 17:37:52
151
原创 一步一步机器学习（四）：支持向量机
这一章介绍的知识特别丰富，无论是核方法(Kernel)还是SMO高效求解SVM对偶问题中的启发式搜索，都很值得我们反复理解品味发明者的思想。话不多说，笔记整理如下：支持向量机知识点总结：其中，关于核方法那部分内容用了机器学习有很多关于核函数的说法，核函数的定义和作用是什么？第一个答主的图片加以解释(对直观理解低、高维之间特征映射很有帮助)；多分类SVM学习了支持向量...
2020-02-20 20:26:33
120
原创 一步一步机器学习（三）：生成式学习算法
生成式学习算法与判别式学习在底层逻辑上有很大区别。生成式学习算法对于特征分布的建模，其思想是“知其然，也知其所以然”，采用贝叶斯推断（Bayes Rule）作为算法核心其实更体现出这是一种人工指导学习规则的学习算法，与大家熟知的“一步步减小损失函数”有很大的不同。具体看笔记。生成式学习算法总结如下...
2020-02-18 21:03:51
1402
1
原创 一步一步机器学习（一）：线性回归
从今天起开始整理Stanford cs229的笔记，采用手写形式笔记记录的形式是希望自己能够有较好的理解。后续练习的代码也会附上。学习机器学习于我而言也只是一种简单的兴趣，目标是从尽量深一点的理论层面理解思想。...
2020-02-18 20:48:24
83
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人