十大算法
jieyan_lu
研究僧
展开
-
十大算法--决策树
一、什么是熵 假设符号Xi的信息定义为: 则熵定义为信息的期望值,为了计算熵,我们需要计算所有类别所有可能值包含的信息期望值,计算方式如下: 熵愈大,不稳定性愈高,即在决策树中一个样本可选择的分支会愈多。从公式来理解是:假如每个p(xi)愈少,则i值愈大,即信息量愈大,就是有可以有很多中分类。同时,H是关于p(xi)的减函数, 熵表示数据的混乱程度,假如每个p(xi)愈少,数据愈分散,则原创 2017-06-14 22:51:43 · 393 阅读 · 0 评论 -
十大算法之-------Knn理解
1.对Knn原理的理解: 存在一组已知标签的数据集(训练集),将没有标签的数据输入,将新数据的每个特征与训练集中的数据进行比较,比较的原则是使用简单的欧氏距离。然后选出距离最短的前K个数据(K一般不大于20),在这K个数据中,出现频次最多的标签就是该输入数据的分类。2.实际操作 a.在操作数据之前首先把数据中的特征进行归一化,否则特征之前数据值差异太大会影响最终的欧氏距离,从而最终影响分类结果。原创 2017-06-10 10:42:28 · 364 阅读 · 0 评论 -
十大算法之朴素贝叶斯
1.条件概率 这个符号代表的意思是在类别Ci的条件下,出现某个由x,y组成的数据点的概率。2.贝叶斯公式 这个准则的目的是求当知道某个点的条件下,判断他属于哪个类别的条件概率。3.贝叶斯准则进行分类假设数据点(x,y)可能分成C1,C2类,使用上述的贝叶斯公式进行类别的判断。那么定义贝叶斯准则为: 如果P(C1|x,y)>P(C2|x,y),那么该点属于类别C1 如果P(C1|x,y)4.朴原创 2017-06-24 10:09:36 · 1451 阅读 · 0 评论 -
十大算法--logistic回归
1.sigmoid函数 当x为0时,Sigmoid函数值为0.5。随着x的增大,对应的sigmiod值将逼近于1; 而随着x的减小,Sigmoid值将逼近于0。任何sigmoid值大于0.5的数据,都被分类为1类,任何sigmoid值小于0.5的数据,都被分类为0类。以下是sigmoid函数在两种不同尺度的坐标系下的图解: 可以看出来,只要横坐标的尺度足够大,在x=0处,sigmoid函数看原创 2017-06-25 12:07:56 · 1231 阅读 · 0 评论 -
十大算法--支持向量机
一、拉格朗日对偶性在学习SVM之前,首先要理解什么是拉格朗日对偶性, 1.原始问题 假设f(x),ci(x),hj(x)是定义在Rn上的连续可微函数,考虑yue束优化问题 称此问题为原始问题。2.由原始问题引入的拉格朗日函数 这里x=(x(1),x(2),…x(n))属于Rn,ai,βi是拉个朗日乘子,ai>=0。另外,考虑以下问题: 显然,L(x,ai,βi)的第三个多项式为原创 2017-07-08 11:47:59 · 619 阅读 · 0 评论