enjoyhot的专栏

机器学习范式，正则化

machine learning概述

机器学习，线性回归

kNN算法的指导思想是“近朱者赤，近墨者黑”，由你的邻居来推断出你的类别。

事实上，GMM 和 k-means 很像，不过 GMM 是学习出一些概率密度函数来（所以 GMM 除了用在 clustering 上之外，还经常被用于 density estimation ），简单地说，k-means 的结果是每个数据点被 assign 到其中某一个 cluster 了，而 GMM 则给出这些数据点被 assign 到每个 cluster 的概率，又称作 soft assignment 。

一、概述刚开始想要学习LDA主题模型的建模方法，学习的过程中发现应用到了EM算法，所以还是打算由浅及深地进行，发现EM算法虽然简单只有E步和M步的不断迭代，但其应用却很广泛，比较有名的有GMM算法和本博文要将的KMeans算法。作为数据挖掘十大经典算法之一，EM算法定义为：在统计中被用于寻找，依赖于不可观察的隐性变量的概率模型中，参数的最大似然估计。这在之后的博客中将有所体现。建议学习顺序如下：EM

在统计计算中，最大期望（EM）算法是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和计算机视觉的数据聚类（Data Clustering）领域。

本文主要讲述利用朴素贝叶斯进行分类的问题。朴素贝叶斯是贝叶斯决策理论的一部分，所以讲述朴素负叶斯之前有必要快速了解一下贝叶斯决策理论。