机器学习
文章平均质量分 83
jjfly
无他,唯手熟尔
展开
-
机器学习中的数学(4)-线性判别分析(LDA), 主成分分析(PCA)
本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gmail.com前言: 第二篇的文章中谈到,和部门老大一宁出去outing的时候,他给了我相当多的机器学习的建议,里面涉及到很多的算法的意义、学习方法等等。一宁上次给我提到,如果学习分类算法,最好转载 2014-10-05 23:56:37 · 583 阅读 · 0 评论 -
K-means算法
聚类属于无监督学习,以往的回归、朴素贝叶斯、SVM等都是有类别标签y的,也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y,只有特征x,比如假设宇宙中的星星可以表示成三维空间中的点集。聚类的目的是找到每个样本x潜在的类别y,并将同类别y的样本x放在一起。比如上面的星星,聚类后结果是一个个星团,星团里面的点相互距离比较近,星团间的星星距离就比较远了。 在聚类问题中,给我们的训转载 2014-10-05 01:01:34 · 906 阅读 · 0 评论 -
序列最小优化算法
转自JerryLead的博客:http://www.cnblogs.com/jerrylead/archive/2011/03/18/1988419.html SMO优化算法(Sequential minimaloptimization)SMO算法由Microsoft Research的John C.Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏转载 2014-10-03 14:27:52 · 3672 阅读 · 0 评论 -
数据挖掘十大经典算法
一、C4.5C4.5,是机器学习算法中的一个分类决策树算法,它是决策树(决策树也就是做决策的节点间的组织方式像一棵树,其实是一个倒树)核心算法ID3的改进算法,所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。C4.5相比于ID3改进的地方有:1、用信息增益率来选择属性。ID3选择属性用的是子树的信转载 2014-10-15 01:11:50 · 451 阅读 · 0 评论 -
特征选择
(1)什么是特征选择特征选择 ( FeatureSelection )也称特征子集选择(Feature Subset Selection , FSS ) ,或属性选择( AttributeSelection ) ,是指从全部特征中选取一个特征子集,使构造出来的模型更好。 (2)为什么要做特征选择 在机器学习的实际应用中,特征数量往往较多,其中可能存在不相关的特征,特征之转载 2014-10-04 11:40:55 · 20900 阅读 · 0 评论 -
经验风险最小化
机器学习的目的就是根据一些训练样本,寻找一个最优的函数,使得函数对输入X的估计Y'与实际输出Y之间的期望风险(可以暂时理解为误差)最小化。期望风险最小化依赖于样本的输入X与其输出Y之间的函数映射关系F(x,y),而这个映射关系,在机器视觉和模式识别系统中,一般指代先验概率和类条件概率。然而,这两者在实际的应用中,都是无法准确获取的,唯一能够利用的就只有训练样本的输入X及其对应的观测输出Y。而机器学转载 2014-10-03 23:40:18 · 642 阅读 · 0 评论 -
朴素贝叶斯分类
0、写在前面的话 我个人一直很喜欢算法一类的东西,在我看来算法是人类智慧的精华,其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中,并解决了实际问题后,那种快感更是我在其它地方体会不到的。 一直想写关于算法的博文,也曾写过零散的两篇,但也许是相比于工程性文章来说太小众,并没有引起大家的兴趣。最近面临毕业找工作,为了能给自己增加筹码,决定再次复习算法方面的知识,我决转载 2014-10-10 14:17:27 · 521 阅读 · 0 评论 -
马尔可夫决策过程
马尔可夫过程出自 MBA智库百科(http://wiki.mbalib.com/)马尔可夫过程(Markov Process) [编辑]什么是马尔可夫过程 1、马尔可夫性(无后效性) 过程或(系统)在时刻t0所处的状态为已知的条件下,过程在时刻t >t0所处状态的条件分布,与过程在时刻t0之前年处的状态无关的特性称为马尔可夫性或无后效性。 即:转载 2014-10-06 11:23:25 · 5775 阅读 · 0 评论 -
奇异值分解
SVD分解SVD分解是LSA的数学基础,本文是我的LSA学习笔记的一部分,之所以单独拿出来,是因为SVD可以说是LSA的基础,要理解LSA必须了解SVD,因此将LSA笔记的SVD一节单独作为一篇文章。本节讨论SVD分解相关数学问题,一个分为3个部分,第一部分讨论线性代数中的一些基础知识,第二部分讨论SVD矩阵分解,第三部分讨论低阶近似。本节讨论的矩阵都是实数矩阵。基础知识1. 矩阵的秩转载 2014-10-06 00:06:43 · 724 阅读 · 0 评论 -
高斯混合模型
1)任意数据分布可用高斯混合模型(M个单高斯)表示((1)式)(1)其中: (2) (3) 表示第j个高斯混合模型2)N个样本集X的log似然函数如下: (4)其中:参数:, (5)下面具体讲讲基于EM迭代的混合高斯模型参数求解算法流程:1)初始参数由k-means(其实也是一种特殊的高斯混合模型)决定:转载 2014-10-05 20:10:06 · 7112 阅读 · 0 评论