机器学习
Demon的黑与白
Stay hungry,Stay foolish
展开
-
隐马尔可夫学习笔记(一)
隐马尔可夫模型学习笔记(一)前言学习隐马尔可夫模型时,最大的困难便是一堆公式与实际问题对应不上号。原因可能还是在于对概率论的理解太表面,且隐马尔可夫模型考虑了时间因素,显然这样的随机过程一时半会是难以形象的理解的。因此,本文采用先举例,后定义公式的方式来学习隐马尔可夫模型。思考隐马尔可夫模型当然,我们还是首先需要知道隐马尔可夫模型(HMM)在统计学习中的地位和应用。参考书本原创 2016-11-02 20:53:44 · 20290 阅读 · 6 评论 -
EM算法及其推广学习笔记
EM算法及其推广学习笔记前言在学习隐马尔科夫模型时,在学习算法中指出了Baum-Welch算法,来实现对隐马尔科夫模型参数的求解。在该学习算法中用到了EM算法,因此我们先来看看EM算法到底是何方神圣。可自己在学习EM算法时,又遇到了一个坑,什么是极大似然函数?因此,本文先介绍极大似然函数的相关概念,然后再对EM算法进行物理映射和实际数学推导。本文需要大量概率论知识,在数学推导关键处会贴原创 2016-11-07 22:20:51 · 11155 阅读 · 5 评论 -
决策树之剪枝原理与CART算法
决策树学习笔记(二)继续关于决策树的内容,本篇文章主要学习了决策树的剪枝理论和基于二叉树的CART算法。主要内容:1.理解决策树损失函数的定义以及物理含义2.基尼指数的主要两个作用3.理解CART剪枝原理,以及它的基本假设和核心思想原创 2016-11-24 22:10:01 · 39625 阅读 · 29 评论 -
决策树之理解ID3算法和C4.5算法
决策树学习笔记(一)前言决策树本身没有太多高深的数学方法,它依托于信息论的一些知识以及在数据结构中所学的树形结构。书中阐述的相当清楚明白,可是当我看完这些章节时,却始终无法得知决策树构建的思路,即决策树方法本身的诞生历程是什么?发明算法的作者是如何一步步构建,联想,解决数据分类问题的呢?因此,本文重点还是尝试去理解作者是如何一步步构建决策树,希望能够通过对关键问题进行抽象建模从而找到决...原创 2016-11-18 08:07:32 · 29609 阅读 · 7 评论 -
统计学习方法资源汇总
统计学习方法资源汇总原创 2017-03-07 11:58:55 · 4213 阅读 · 2 评论 -
条件随机场学习笔记
条件随机场学习笔记前言这是在《统计学习方法》中学习到的最后一个方法了,不像其他统计方法,学完精气神超足,都能让我继续振奋好几日。然学完该方法,我陷入了沉思与迷茫。首先,对条件随机场的【提出】和【应用场景】一片混沌,其次,说说它的思想吧,无非加入了【空间属性】,相比最大熵模型,多加入了【边特征函数】,而随机变量【X,Y】的联合概率分布的表达式并没有发生本质变化,所以说,它还是一个我认为的【概率模型】。原创 2017-02-27 13:06:30 · 12482 阅读 · 2 评论 -
提升方法学习笔记
提升方法学习笔记前言提升方法是我在学习机器学习算法后最摸不着头脑的一个算法。看似它的思想很简单【三个臭皮匠,顶个诸葛亮】,但至于公式为什么是这样,权值为什么这么更新,实在令我不解。无奈翻阅了下adaboost的一篇论文,找到了一些线索,然数学水平不够,当论及PAC计算机学习理论时,无从下手。其中涉及到的内容相当多,如拓扑空间,测度理论等等,但秉承学习总结的一贯作风,我还是简单总结下,仅仅作为《统计学原创 2017-02-18 11:31:50 · 1657 阅读 · 1 评论 -
逻辑斯谛回归及其物理含义
逻辑斯谛回归及其物理含义逻辑斯谛回归先来看看书上逻辑斯谛回归模型的公式吧,再了解公式的情况下,我们再来谈谈它实际的物理含义。吼吼,它貌似蛮有内涵的,也是从生物学上挖过来的一条曲线吧。原创 2016-12-13 12:05:34 · 11836 阅读 · 0 评论 -
最大熵模型与GIS ,IIS算法
最大熵模型与GIS ,IIS算法前言在学习最大熵模型时,令我最大的困惑点在于它一些公式的物理含义是什么!但发现,它在概率模型当中,除了一个最宏观的假设【无知信息最大熵】之外,没有发现任何有趣的现象。但更加神奇的一点在于,它的【特征函数】在某些特定的取值情况下,能够回归到逻辑斯蒂回归模型的一般表现形式上,这无形之中让我对最大熵的解产生了无比的好奇,似乎又能联系到一些什么。学习提醒本文重点在于自己对公式原创 2017-02-12 19:44:53 · 11904 阅读 · 12 评论 -
隐马尔可夫模型之Baum-Welch算法详解
隐马尔可夫模型之Baum-Welch算法详解在上篇博文中,我们学习了隐马尔可夫模型的概率计算问题和预测问题,但正当要准备理解学习问题时,发现学习问题中需要EM算法的相关知识,因此,上一周转而学习了EM算法和极大似然估计,对隐藏变量的求解有了一些自己的理解,现在我们继续回过头来学习隐马尔可夫模型的学习问题。原创 2016-11-05 18:03:12 · 70498 阅读 · 39 评论 -
朴素贝叶斯法学习笔记
朴素贝叶斯法学习笔记前言最近开始学习《统计学习方法》中的朴素贝叶斯,朴素贝叶斯是在贝叶斯的基础上为了简化问题而做出的一种朴素假设。因此,想要理解朴素二字的含义必须先明白什么是贝叶斯。在看了两篇博文和书中的章节后,对贝叶斯产生了一种发自内心的敬仰之心,它的思想无处不在,一时半会是很难hold住这背后的贝叶斯哲学。参考的两篇博文为数学之美番外篇:平凡而又神奇的贝叶斯方法及算法杂货铺——分类原创 2016-11-16 19:52:53 · 2609 阅读 · 0 评论 -
支持向量机学习笔记--原理篇(二)
支持向量机学习笔记(二)前言在上一篇中,讲述了感知机是什么。接下来将叙述感知机的对偶形式,这在解决支持向量机问题中非常有用,因为直接求解存在困难时,我们往往会把它变换到其等价形式进行求解。这篇将继续上篇内容,把遗留的两个问题解释清楚。感知机感知机学习算法的对偶形式现在考虑感知机学习算法的对偶形式。感知机学习算法的原始形式和对偶形式在支持向量机学习算法的原始形式和对偶形式相对应。对偶形式的基本想法是,原创 2016-10-27 11:07:26 · 4804 阅读 · 0 评论 -
K近邻法学习笔记
K近邻法学习笔记k近邻法是一种基本分类与回归方法。但个人并不把它列入到机器学习中的学习算法,它本身并没有对数据进行理论建模的过程,而是根据现有的数据在n维空间的分布,来确定预测点的归属。这就好比,在现实世界的维度中,经常游走于男厕所的我们归为男性,而经常在女厕所出没的人我们归为女性或者是变态。原创 2016-11-15 17:53:47 · 3688 阅读 · 0 评论 -
支持向量机学习笔记--实现篇(三)
支持向量机学习笔记(三)前言两篇文章阐述了支持向量机的原理,在数学的海洋中遨游了快一周,实在撑不下去了,现在准备亲自来实现一把支持向量机的学习算法,序列最小最优化算法,依然需要数学知识和少量的编程基础。参考的书籍为李航的《统计学习方法》和Peter Harrington的《机器学习实战》,参考的学习算法为LIBSVM,以及一篇求解凸二次规划问题的论文-Sequential Minimal原创 2016-10-29 12:22:38 · 3817 阅读 · 1 评论 -
从DBSCAN算法谈谈聚类算法
DBSCAN算法此篇博文尝试讲清楚"物以类聚,人以群分"这个概念,DBSCAN算法中两个参数的实际物理含义,以及它背后所做的基本假设,由于这方面资料不多,因此都属于个人的猜想,不代表发明DBSCAN算法作者本身的想法,且这也是我正式学习聚类算法中的第一个算法,由于知识的局限性,如有不当,请指正。原创 2016-11-29 08:43:23 · 25907 阅读 · 6 评论 -
支持向量机学习笔记--原理篇(一)
支持向量机学习笔记–原理篇(一)前言初步学习机器学习给我最大的感受是它背后需要强大的数学知识,理论推到往往能帮助我们理解其本质。而在我看来,单纯的求解数学问题还不够,我们需要有把这部分理论知识运用到实际应用中去的能力。支持向量机(support vector)是机器学习中用来解决监督分类问题的一种方法。本文致力于把复杂的理论简化到简单的低维情况,配以图的方式对相关理论进行学习性解释。最后再用java原创 2016-10-23 23:52:54 · 2224 阅读 · 0 评论 -
2018“云移杯- 景区口碑评价分值预测
2018“云移杯- 景区口碑评价分值预测 (初赛第9) github链接:https://github.com/demonSong/DF_CCF_CONTEST前言实在太忙,找实习,天池,华为等比赛都放在一块了,该方案初赛第9,进入复赛之后就先放下了。此处记录从春节到3月份关于NLP的学习感悟,供大家参考。任务根据每个用户的评论,预测他们对景区的情感值(1~5)。...原创 2018-03-30 21:58:29 · 2336 阅读 · 2 评论