sgcwudi的博客

1原理朴素贝叶斯贝叶斯：根据贝叶斯定理p(y|x) = p(y)p(x|y)/p(x).选择p(y|x) 最大的类别作为x的类别。可知朴素贝叶斯是监督学习的生成模型（由联合概率分布得到概率分布）。选择p(y|x) 最大的类别时，分母相同，所以简化为比较 p(y)p(x|y)的大小。朴素： 计算p(x|y)的概率，假设x是n维向量，每维向量有sn个取值可能，则就要计算类别*（sn的n次方）次。过于复杂。因此假设样本的特征之间相互独立，所以叫朴素。则p(x|y) = p(xi|y)的乘积,i=1,2,n.

KNN算法的的原理：KNN不存在显式的学习过程，对于一个测试样本，根据给定的距离计算公式，和k值，找到距离测试样本最近的k个训练样本，k个训练样本得票最高的类别作为测试样本的类别。三要素距离的度量np.linalg.norm(x-y,p) #p=1即曼哈顿距离，p=2即欧式聚类k值的选择k值过大，，模型简单k值过小，模型过拟合通常k值选择较小的一个数，采用交叉验证法来选取最优的k值。决策规则通常选择多数服从少数原理，即得票最多的类别作为测试类别python实现（线性查询比较）impo

统计学习方法（第二章）–感知器(python实现以及sklearn调用)1 原理找到一个分离超平面y=f(wx + b)，可以将数据分开，使wx + b>0的属于正类，wx + b<=0的属于负类。因此感知器是一个线性二分类模型。三要素：模型：y = f(wx + b)策略：定义损失函数，误分类的点到超平面的距离和最小化。点到超平面的距离公式是|wx+b|/||w||.因为限制误分类的点，所以y(wx+b)<=0.忽略第二范数||w||。则损失函数L(Y,f(X)) = -y(w

统计学习方法（第一章）1定义基于数据，利用计算机构建概率统计模型，用模型对未知数据进行预测。统计学习方法：监督学习方法，非监督学习方法，半监督学习方法，强化方法。（是否需要标注数据）监督学习方法：分类（输出变量是有限个离散变量），回归（输入，输出变量都是连续变量），标注（输入，输出变量都是序列变量）2三要素模型：就是可能的函数，所有的函数组成假设空间 。假设数据是独立同分布的，是由函数生成的。现在已知数据，求生成这些数据的最大可能函数。模型由概率模型P（Y|X）或者决策函数Y=f（X）表示。策