MS_QQ的博客

决策树决策树通过分析样本的特征分布情况对实例进行分类或预测输出值。决策树每深入一层都是在选定特征向量划分特征空间，到达叶结点时，即可得到实例对应的类别或输出值。信息增益决策树每深入一层都需要选定一个特征向量，那么选定哪个特征向量会更有利于分类呢，这需要用到信息增益。熵首先我们要了解信息熵，熵是表示随机变量不确定性的度量，熵越大那么随机变量的不确定性就越大。这个概念借用自热力学中的熵，热力学中的熵是体系混乱程度的度量，熵越大，体系越混乱，越混乱，自然不确定性就越大。设X是一个取有限个值的离散随机变

朴素贝叶斯法设输入空间x∈Rnx\in R^nx∈Rn，输出空间为类标记集合y={c1.c2,...ck}y=\{c_1.c_2,...c_k \}y={c1​.c2​,...ck​}先验概率先验概率是根据以往经验和分析得到的概率，先验概率分布为P(Y=ck),k=1,2,...K(1)P(Y=c_k),k=1,2,...K\tag 1P(Y=ck​),k=1,2,...K(1)例如15个球中，红球（c1c_1c1​）有3个；白球（c2c_2c2​）有8个；绿球（c3c_3c3​）有4个则

K近邻法k近邻法是一种基本分类（定性）与回归（定量）方法，它通过选择目标实例的k个最近邻实例，使用多数表决（定性分类）或均值计算（定量回归）等方法对目标实例进行预测。k近邻的回归是在分类基础上的拓展，因此我们仅对分类法进行分析。上述内容可以说明k近邻法的几个关键问题k值的选择，即选择几个最近邻进行判断合适距离度量，即怎样算最近邻实例分类决策规则，即为什么要使用多数表决方法k-d树，数据的组织与查找算法。通过上述内容可以发现，k近邻法没有明显的函数可以利用实例的特征向量将实例映射到特定类别中，因

感知机感知机模型分离超平面输入空间（特征空间）为x⊆Rnx\subseteq R^nx⊆Rn，输出空间为y={+1,−1}y=\{+1, -1\}y={+1,−1}，从输入空间到输出空间的函数为f(x)=sign(w⋅x+b)(1)f(x)=sign(w·x+b)\tag 1f(x)=sign(w⋅x+b)(1)其中w∈Rnw\in R^nw∈Rn，叫做权值向量；b∈Rb\in Rb∈R叫做偏置（注意不是RnR^nRn）；sing是符号函数，即sing(x)={+1,x≥0−1,x<