机器学习算法
文章平均质量分 86
小鬼柯南
这个作者很懒,什么都没留下…
展开
-
EM期望最大化
极大似然估计极大似然估计方法是一种参数估计方法·是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值·原理:一个随机试验如果有若干个可能的结果A,B,C,…。若在一次试验中,结果A出现,则一般认为试验条件对A出现有利,也即A出现的概率很大思想:已知某个参数能使这个样本出现的概率最大,我们当然不会再转载 2017-03-18 21:08:24 · 492 阅读 · 0 评论 -
Mahalanobis距离
Mahalanobis距离是表示数据的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。与欧氏距离不同的是它考虑到各种特性之间的联系与欧氏距离不同的是它考虑到各种特性之间的联系(例如:一条关于身高的信息会带来一条关于体重的信息,因为两者是有关联的)并且是尺度无关的(scale-invariant),即独立于测量尺度。举个例子,坐飞机从上海到北京和坐普快从上海到北京,由于速原创 2017-03-13 09:59:09 · 896 阅读 · 0 评论 -
决策树
前言算法的有趣之处在于解决问题,否则仅仅立足于理论,便毫无乐趣可言; 不过算法的另一特点就是容易吓唬人,又是公式又是图标啥的,如果一个人数学理论知识过硬,静下心来看,都是可以容易理解的,纸老虎一个,不过这里的算法主要指的应用型算法;但是那些证明和研究算法理论堪称大牛. 现在给大家介绍一下分类算法中最常用的一种算法–决策树算法决策树原理决策树(de转载 2017-03-13 20:58:57 · 581 阅读 · 0 评论 -
朴素贝叶斯分类
这次需要总结的是朴素贝叶斯算法,参考文章:《统计学习方法》机器学习常见算法个人总结(面试用)朴素贝叶斯理论推导与三种常见模型朴素贝叶斯的三个常用模型:高斯、多项式、伯努利简介朴素贝叶斯是基于贝叶斯定理与特征条件独立假设的分类方法。贝叶斯定理是基于条件概率来计算的,条件概率是在已知事件B发生的前提下,求解事件A发生的概率,即P(A|B)=P(AB)P(B),而转载 2017-03-13 20:13:02 · 433 阅读 · 0 评论 -
k均值聚类算法
K-means聚类算法 一、K-means聚类原理 1.1 聚类算法的原理 我们经常接触到的聚类分析,一般都是数值聚类,一种常见的做法是同时提取 N 种特征,将它们放在一起组成一个 N 维向量,从而得到一个从原始数据集合到 N 维向量空间的映射——总是需要显式地或者隐式地完成这样一个过程,然后基于某种规则进行分类,在该规则下,同组分类具有最大的相似性。原创 2017-03-13 11:25:14 · 2184 阅读 · 0 评论 -
boosting算法
Boosting是一个提高任意给定学**算法准确度的方法。他是一种框架算法,主要是通过对样本集的操作获得样本子集,然后用弱分类算法在样本子集上训练生成一系列的弱分类器。在实际应用中,我们不必费力寻找预测精度高的算法,只需要找到一个比随机猜测略好的弱学**算法,通过Boosting算法就可以将其提升为强学**算法。Boosting算法的思想是先赋予训练集中每个样本相同的权重,然后进行T次迭代转载 2017-03-14 16:57:19 · 1012 阅读 · 0 评论 -
随机森林
前面介绍过决策树分裂节点的三种方法:ID3算法,C4.5算法和CART算法。虽然这些决策树有很多优良的性质,比如训练时间复杂度较低,模型容易展示等等,但是同时单决策树有一些不好的地方,比如容易over-fitting,虽然剪枝可以减少这种现象的发生,但是还是不够的。为了减少决策树的不足,近年来又提出了许多模型组和+决策树的算法,这些算法都是生成N棵决策树,虽然这N棵树都很简单,但是它们综合起来就很转载 2017-03-16 15:20:10 · 1171 阅读 · 0 评论 -
人脸检测/Harr分类器
转载:http://www.cnblogs.com/ello/archive/2012/04/28/2475419.html Haar分类器实际上是Boosting算法的一个应用,Haar分类器用到了Boosting算法中的AdaBoost算法,只是把AdaBoost算法训练出的强分类器进行了级联,并且在底层的特征提取中采用了高效率的矩形特征和积分图方法。Haar分类器算法的要点转载 2017-03-16 16:33:34 · 1058 阅读 · 0 评论