知行流浪

贝叶斯估计        贝叶斯估计：从参数的先验知识和样本出发。        不同于ML估计，不再把参数θ看成一个未知的确定变量，而是看成未知的随机变量，通过对第i类样本Di的观察，使概率密度分布P(Di|θ)转化为后验概率P(θ|Di)，再求贝叶斯估计。        假设：将待估计的参数看作符合某种先验概率分布的随机变量。        基本原理：

极大似然估计        以前多次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结如下：贝叶斯决策        首先来看贝叶斯分类，我们都知道经典的贝叶斯公式：        其中：p(w)：为先验概率，表示每种类别分布的概率；：类条件概率，表示在某种类别前提下，某事发生的概率；而为后验概率，表示某事发生

Kmeans聚类算法动态聚类算法        任务：是将数据集划分成一定数量的子集，例如将一个数据集划分成3、4个子集等。因此要划分成多少个子集往往要预先确定，或大致确定，当然这个子集数目在理想情况能体现数据集比较合理的划分。        要解决的问题是:  1、怎样才能知道该数据集应该划分的子集数目?                                    2、

首先来看贝叶斯决策，贝叶斯分类器就是根据如下贝叶斯公式来设计的。最常用的就是比较后验概率的大小，进行类别决策。（也就是基于最小错误率的分类器，还有其他的比如基于最小风险，NP决策等）。        如何理解呢，说一个例子，比如一个班里面的男女比例为2:1，那么也就是说男生占2/3，女生占1/3。这个呢就叫做类别的先验概率（类别就是男生、女生），对应公式上的p(w)。接着假设这个班

KNN分类器        从测试样本x开始生长，不断扩大区域，直至包含进K个训练样本，把测试样本x的类别归于与之最近的k个训练样本中出现频率最大的类别。k近邻一般采用k为奇数，跟投票表决一样，避免因两种票数相等而难以决策。         其决策规则：         通俗易懂的规则是：        1.计算待分类数据和不同类中每一个数据的距离（欧氏或马氏）。   

Kn-----近邻估计        KN近邻估计基本思想：预先确定n的某个函数Kn，然后再x点周围选择一个区域，调整区域体积大小，直至Kn个样本落入区域中。这些样本被称为点x的Kn个最近邻。        如果x点附近的密度比较高，则V的体积自然就相对较小，从而可以提升分辨力；        如果x点附近的密度比较低，则V的体积就较大，但一进入高密度区就会停止增长。