seeker的博客

第二章：感知机算法感知机是二分类的线性模型，输入实例的特征向量，输出实例的±类别。模型表达如下： w·x表示向量w和x的内积。sign是一个映射函数，由线性变换到输出空间(+1,-1)的一个映射。这个映射函数是 ,当w*x+b>=0，y=+1，否则y取-1.感知机的学习策略 如果给定一个数据集，如果存在某个超平面S：w·x+b=0,能够将数据集中的正样本点和负样本点全部分开，及全部正确划

统计学习方法 第一章经验风险最小化： 模型在训练集上的损失最小的一种策略，当数据集合较大时，会使模型在训练集上表现良好，但是容易造成过拟合，即在测试集合上表现欠佳。结构风险最小化： 结构风险最小化是防止过拟合的一种策略，是在结构风险最小化的基础上加上表示模型复杂度的正则化项或者惩罚项。所谓表示模型复杂度的正则化项，模型复杂度是一个函数，具体可以是模型参数向量的范数或者其它形式，然后再乘以一个

统计学习方法第四章：朴素贝叶斯法朴素贝叶斯法 　　朴素贝叶斯法基于特征条件独立假设学习到给定数据集的联合概率分布P(X,Y)，具体地是通过学习先验概率分布及条件概率分布，两个概率相乘即得联合概率分布。先验概率是在缺乏某个事实的条件下描述某个变量，个人理解在机器学习中，我们要求出测试样例属于某一个类别的概率，那么先验概率就是不考虑任何因素每个类别出现的概率(P(Y=Ck))，这种情况下应该将样本归

统计学习第五章：决策树决策树模型 分类决策树模型是一种描述对实例进行分类的树形结构，表示基于特征对实例进行分类的过程。决策树由结点和有向边组成。结点有两种类型：内部节点和叶节点，内部节点表示一个特征或属性，叶节点表示一个具体的类。 分类的时候，先从根节点开始，当前节点设为根节点，当前节点必定是一种特征，根据实例的在该特征上的取值，向下一层的节点移动，直到到达叶节点，将实例分到叶节点对应的类中。

统计学习方法第三章：K近邻K近邻法和其他的机器学习方法不太一样，因为它没有显示的学习的过程，可以理解为没有训练的过程。K近邻思想:给定一个训练集，当对新的测试样本分类时，分别计算测试样本和训练集中每个样本的距离即相似度，从中选择前K个最相似的样本，然后从这K个最相似样本中，选择出现次数最多的类别作为测试样本的类别。可见K近邻法的好坏与三个因素有关：如何度量样本相似度(距离度量)？K值如何选取(K