雨石

公开课系列的pdf文档已经上传到csdn资源，下载请猛击这里。本文对应斯坦福ML公开课的第12个视频，第12个视频与前面相关性并不大，开启了一个新的话题——无监督学习。主要内容包括无监督学习中的K均值聚类(K-means)算法，混合高斯分布模型(Mixture of Gaussians, MoG)，求解MoG模型的EM算法，以及EM的一般化形式，在EM的一般化形式之前，还有一个小知识点，即Jensen不等式(Jensen’s inequality)。

转载请注明链接：http://blog.csdn.net/xinzhangyanxiang/article/details/9101621最近在看Ng的机器学习公开课，Ng的讲法循循善诱，感觉提高了不少。该系列视频共20个，每看完一个视频，我都要记录一些笔记，包括公式的推导，讲解时候的例子等。按照Ng的说法，公式要自己推理一遍才能理解的通透，我觉得自己能够总结出来，发到博客上，也能达到这个效果

转载请注明：http://blog.csdn.net/xinzhangyanxiang/article/details/9113681最近在看Ng的机器学习公开课，Ng的讲法循循善诱，感觉提高了不少。该系列视频共20个，每看完一个视频，我都要记录一些笔记，包括公式的推导，讲解时候的例子等。按照Ng的说法，公式要自己推理一遍才能理解的通透，我觉得自己能够总结出来，发到博客上，也能达到这个效果，希

转载请注明：http://blog.csdn.net/xinzhangyanxiang/article/details/9207047最近在看Ng的机器学习公开课，Ng的讲法循循善诱，感觉提高了不少。该系列视频共20个，每看完一个视频，我都要记录一些笔记，包括公式的推导，讲解时候的例子等。按照Ng的说法，公式要自己推理一遍才能理解的通透，我觉得自己能够总结出来，发到博客上，也能达到这个效果，希

本篇博客为斯坦福ML公开课第五个视频的笔记，主要内容包括生成学习算法（generate learning algorithm）、高斯判别分析（Gaussian DiscriminantAnalysis，GDA）、朴素贝叶斯（Navie Bayes）、拉普拉斯平滑（Laplace Smoothing）。由于编辑公式繁琐，故博文大部分内容都是图片，如果网速不给力耍不开的话，欢迎去下载pdf版。

本篇笔记针对斯坦福ML公开课的第6个视频，主要内容包括朴素贝叶斯的多项式事件模型（MultivariateBernoulli Event Model）、神经网络（Neural Network）、支持向量机（Support Vector Machine）的函数间隔（functionalmargin）与几何间隔（geometricmargin）。

本篇对应斯坦福公开课的第8个视频，主要讲述了SVM（Support Vector Machine,支持向量机）的剩余部分。即核技法（Kernels）、软间隔分类器（softmargin classifier）、对SVM求解的序列最小化算法（Sequential Minimal Optimization,SMO）以及SVM的一些应用。

本篇与前面不同，主要内容不是算法，而是机器学习的另一部分内容——学习理论。主要包括偏差/方差（Bias/variance）、经验风险最小化（Empirical Risk Minization，ERM）、联合界（Union bound）、一致收敛（Uniform Convergence）。Ng对学习理论的重要性很是强调，他说理解了学习理论是对机器学习只懂皮毛的人和真正理解机器学习的人的区别。学习理论的重要性在于通过它能够针对实际问题更好的选择模型，修改模型。

本篇是ML公开课的第10个视频，上接第9个视频，都是讲学习理论的内容。本篇的主要内容则是VC维、模型选择(Model Selection)。其中VC维是上篇笔记中模型集合无限大时的扩展分析；模型选择又分为交叉检验(Cross Validation)和特征选择(FeatureSelection)两大类内容。

本文对应公开课的第13个视频，这个视频仍然和EM算法非常相关，第12个视频讲解了EM算法的基础，本视频则是在讲EM算法的应用。本视频的主要内容包括混合高斯模型（Mixture of Gaussian, MoG）的EM推导、混合贝叶斯模型（Mixture of Naive Bayes，MoNB）的EM推导、因子分析模型（Factor Analysis Model）及其EM求解。由于本章内容较多，故而分为AB两篇，本篇介绍至混合模型的问题。

本文对应ML公开课的第11个视频。前半部分仍然是讲学习理论的内容，后半部分主要讲述一些在具体应用中使用ML算法的经验。学习理论的内容包括贝叶斯统计和正则化(Bayesian statistics and Regularization)、在线学习(Online Learning)。ML经验包括算法的诊断(Diagnostics for debugging learning algorithms)、误差分析(error analysis)、销蚀分析(ablative analysis)、过早优化(prematu

本篇主要介绍PCA(Principal Components Analysis, 主成分分析)，也是一种降维方法，但是该方法比较直接，只需计算特征向量就可以进行降维了。本篇对应的视频是公开课的第14个视频，该视频的前半部分为因子分析模型的EM求解，已写入笔记13，本篇只是后半部分的笔记，所以内容较少。

斯坦福ML公开课笔记15我们在上一篇笔记中讲到了PCA(主成分分析)。PCA是一种直接的降维方法，通过求解特征值与特征向量，并选取特征值较大的一些特征向量来达到降维的效果。本文继续PCA的话题，包括PCA的一个应用——LSI(Latent Semantic Indexing, 隐含语义索引)和PCA的一个实现——SVD(Singular Value Decomposition,奇异值分解)，在SVD和LSI结束之后，关于PCA的内容就告一段落。视频的后半段开始讲无监督学习的一种——ICA(Indepen

本篇笔记针对ML公开课的第七个视频，主要内容包括最优间隔分类器（Optimal Margin Classifier）、原始/对偶问题（Primal/Dual Problem）、svm的对偶问题，都是svm（support vector machine，支持向量机）的内容。

本文是《斯坦福ML公开课笔记13A》的续篇。主要讲述针对混合高斯模型的问题所采取的简单解决方法，即对假设进行限制的简单方法，最后引出因子分析模型（Factor Analysis Model），包括因子分析模型的介绍、EM求解等。