机器学习入门
傻傻忽忽学习机器学习&&数学的程序猿
Demon的黑与白
Stay hungry,Stay foolish
展开
-
TensorFlow 入门(二):Softmax 识别手写数字
TensorFlow 入门(二):Softmax 识别手写数字@author: demonSong @email: daimeSong@gmail.comrefer to: http://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners.htmlMNIST是一个非常简单的机器视觉数据集,如下图所示,它由几万张28像素x28像素的手写数字原创 2018-02-06 11:04:32 · 806 阅读 · 0 评论 -
TensorFlow 入门(一):基本使用
TensorFlow 入门(一):基本使用@author: demonSong @email: daimeSong@gmail.com基本使用refer to: http://wiki.jikexueyuan.com/project/tensorflow-zh/get_started/basic_usage.html 综述 TensorFlow 是一个编程系统, 使用图来原创 2018-02-05 21:57:31 · 3183 阅读 · 0 评论 -
PRML系列:1.5 Decision Theory
PRML系列:1.5 Decision Theory前言本打算该系列均用自己的视角重新阐述一遍,但由于时间精力有限,最终还是决定以摘抄中文版PRML的方式,一来可以还原PRML中最本色的内容,二来以博文的形式,可以在自己不解的地方加入疑问和思考,整理总结也算是种不错的学习方式。在1.2节中,我们已经看到了概率论是如何提供给我们⼀个⾃始⾄终的数学框架来量化和计算不确定性。这⾥我们将要转⽽讨论决策论。当原创 2017-12-15 18:18:10 · 1088 阅读 · 0 评论 -
PRML系列:1.4 The Curse of Dimensionality
PRML系列:1.4 The Curse of Dimensionality缘由PRML例举了一个人工合成的数据集,这个数据集中表示一个管道中石油,水,天然气各自所占的比例。这三种物质在管道中的几何形状有三种不同的配饰,被称为“同质状”、“环状”和“薄片状”。输入有12个维度,是用伽马射线密度计采集的数据,输出对应的是三个类别:同质状,环状和薄片状。为了能够直观的呈现数据在二维空间中的分布,PRML原创 2017-12-14 15:53:28 · 1235 阅读 · 0 评论 -
PRML系列:1.3 Model Selection
PRML系列:1.3 Model Selection模型选择模型选择一般采用交叉验证,本节提到了S-fold cross-validation,原理如下,把数据集D随机划分成S份,其中S-1份用来训练模型,1份用来验证模型的效果。这样,一方面能充分利用所给数据集的几乎全部有用信息,另外一方面,可以有效避免过拟合现象的发生。当S取数据集个数N时,这种技术叫做留一法,在样本稀缺的情况下尤其有用。缺点:原创 2017-12-12 14:31:46 · 435 阅读 · 0 评论 -
PRML系列:1.2 Probability Theory
PRML系列:1.2 Probability Theory前言这一章主要讲了一些概率论的基础知识,前面着重介绍了条件概率,边缘概率的相关知识,此处就不在罗列这些细节了,具体参考PRML即可。本文拟解释以下结论:贝叶斯为何能够解决过拟合问题?频率学派是如何对数据建模并得到准确模型的?贝叶斯学派和频率学派在建模上有什么区别?以上的结论和总结都是从本人的知识系统中得到,难免有所错误,但无妨,自己的原创 2017-12-12 12:29:37 · 503 阅读 · 0 评论 -
PRML系列:1.1 多项式函数拟合
PRML系列:1.1 多项式函数拟合前言此系列关于Pattern Recognition and Machine Learning的总结,博文记录一些在阅读过程中遇到的难点和自己的感悟。话不多说,直接进入正题吧。正文第一章第一节的内容关于多项式函数的拟合,假设我们给出了一系列的坐标点(x,y)们,可能是某个函数生成的,比如:y=sin(2πx)y = \sin(2 \pi x),如下图:模式识别的目原创 2017-12-08 13:42:31 · 3411 阅读 · 0 评论 -
深度学习系列(2):前向传播和后向传播算法
深度学习系列(2):前向传播和后向传播算法前言讲真,之前学吴恩达的机器学习课时,还手写实现过后向传播算法,但如今忘得也一干二净。总结两个原因:1. 理解不够透彻。2. 没有从问题的本质抓住后向传播的精髓。今天重温后向传播算法的推导,但重要的是比较前向传播和后向传播的优缺点,以及它们在神经网络中起到了什么不一般的作用,才让我们如此着迷。反向传播的由来反向传播由Hinton在1986年发明,该论文发表在原创 2017-12-01 23:14:33 · 34475 阅读 · 5 评论 -
深度学习系列(1):感知机
深度学习系列(1):感知机前言小论文总算告一段落了,近期开始深度学习了,跟着Hinton神经网络公开课边看边总结。视频参考链接如下:https://www.coursera.org/,搜索 Neural Networks for Machine Learning即可找到资源。部分有中文翻译,当然也可以参考hankcs神犇关于Hinton神经网络的总结,参考链接如下: http://www.han原创 2017-12-01 15:43:45 · 2124 阅读 · 0 评论 -
统计学习方法资源汇总
统计学习方法资源汇总原创 2017-03-07 11:58:55 · 4173 阅读 · 2 评论 -
条件随机场学习笔记
条件随机场学习笔记前言这是在《统计学习方法》中学习到的最后一个方法了,不像其他统计方法,学完精气神超足,都能让我继续振奋好几日。然学完该方法,我陷入了沉思与迷茫。首先,对条件随机场的【提出】和【应用场景】一片混沌,其次,说说它的思想吧,无非加入了【空间属性】,相比最大熵模型,多加入了【边特征函数】,而随机变量【X,Y】的联合概率分布的表达式并没有发生本质变化,所以说,它还是一个我认为的【概率模型】。原创 2017-02-27 13:06:30 · 12434 阅读 · 2 评论 -
提升方法学习笔记
提升方法学习笔记前言提升方法是我在学习机器学习算法后最摸不着头脑的一个算法。看似它的思想很简单【三个臭皮匠,顶个诸葛亮】,但至于公式为什么是这样,权值为什么这么更新,实在令我不解。无奈翻阅了下adaboost的一篇论文,找到了一些线索,然数学水平不够,当论及PAC计算机学习理论时,无从下手。其中涉及到的内容相当多,如拓扑空间,测度理论等等,但秉承学习总结的一贯作风,我还是简单总结下,仅仅作为《统计学原创 2017-02-18 11:31:50 · 1618 阅读 · 1 评论 -
最大熵模型与GIS ,IIS算法
最大熵模型与GIS ,IIS算法前言在学习最大熵模型时,令我最大的困惑点在于它一些公式的物理含义是什么!但发现,它在概率模型当中,除了一个最宏观的假设【无知信息最大熵】之外,没有发现任何有趣的现象。但更加神奇的一点在于,它的【特征函数】在某些特定的取值情况下,能够回归到逻辑斯蒂回归模型的一般表现形式上,这无形之中让我对最大熵的解产生了无比的好奇,似乎又能联系到一些什么。学习提醒本文重点在于自己对公式原创 2017-02-12 19:44:53 · 11790 阅读 · 12 评论 -
逻辑斯谛回归及其物理含义
逻辑斯谛回归及其物理含义逻辑斯谛回归先来看看书上逻辑斯谛回归模型的公式吧,再了解公式的情况下,我们再来谈谈它实际的物理含义。吼吼,它貌似蛮有内涵的,也是从生物学上挖过来的一条曲线吧。原创 2016-12-13 12:05:34 · 11688 阅读 · 0 评论 -
决策树之剪枝原理与CART算法
决策树学习笔记(二)继续关于决策树的内容,本篇文章主要学习了决策树的剪枝理论和基于二叉树的CART算法。主要内容:1.理解决策树损失函数的定义以及物理含义2.基尼指数的主要两个作用3.理解CART剪枝原理,以及它的基本假设和核心思想原创 2016-11-24 22:10:01 · 39580 阅读 · 29 评论 -
支持向量机学习笔记--原理篇(一)
支持向量机学习笔记–原理篇(一)前言初步学习机器学习给我最大的感受是它背后需要强大的数学知识,理论推到往往能帮助我们理解其本质。而在我看来,单纯的求解数学问题还不够,我们需要有把这部分理论知识运用到实际应用中去的能力。支持向量机(support vector)是机器学习中用来解决监督分类问题的一种方法。本文致力于把复杂的理论简化到简单的低维情况,配以图的方式对相关理论进行学习性解释。最后再用java原创 2016-10-23 23:52:54 · 2193 阅读 · 0 评论 -
支持向量机学习笔记--原理篇(二)
支持向量机学习笔记(二)前言在上一篇中,讲述了感知机是什么。接下来将叙述感知机的对偶形式,这在解决支持向量机问题中非常有用,因为直接求解存在困难时,我们往往会把它变换到其等价形式进行求解。这篇将继续上篇内容,把遗留的两个问题解释清楚。感知机感知机学习算法的对偶形式现在考虑感知机学习算法的对偶形式。感知机学习算法的原始形式和对偶形式在支持向量机学习算法的原始形式和对偶形式相对应。对偶形式的基本想法是,原创 2016-10-27 11:07:26 · 4783 阅读 · 0 评论 -
支持向量机学习笔记--实现篇(三)
支持向量机学习笔记(三)前言两篇文章阐述了支持向量机的原理,在数学的海洋中遨游了快一周,实在撑不下去了,现在准备亲自来实现一把支持向量机的学习算法,序列最小最优化算法,依然需要数学知识和少量的编程基础。参考的书籍为李航的《统计学习方法》和Peter Harrington的《机器学习实战》,参考的学习算法为LIBSVM,以及一篇求解凸二次规划问题的论文-Sequential Minimal原创 2016-10-29 12:22:38 · 3802 阅读 · 1 评论 -
隐马尔可夫学习笔记(一)
隐马尔可夫模型学习笔记(一)前言学习隐马尔可夫模型时,最大的困难便是一堆公式与实际问题对应不上号。原因可能还是在于对概率论的理解太表面,且隐马尔可夫模型考虑了时间因素,显然这样的随机过程一时半会是难以形象的理解的。因此,本文采用先举例,后定义公式的方式来学习隐马尔可夫模型。思考隐马尔可夫模型当然,我们还是首先需要知道隐马尔可夫模型(HMM)在统计学习中的地位和应用。参考书本原创 2016-11-02 20:53:44 · 20184 阅读 · 6 评论 -
隐马尔可夫模型之Baum-Welch算法详解
隐马尔可夫模型之Baum-Welch算法详解在上篇博文中,我们学习了隐马尔可夫模型的概率计算问题和预测问题,但正当要准备理解学习问题时,发现学习问题中需要EM算法的相关知识,因此,上一周转而学习了EM算法和极大似然估计,对隐藏变量的求解有了一些自己的理解,现在我们继续回过头来学习隐马尔可夫模型的学习问题。原创 2016-11-05 18:03:12 · 69881 阅读 · 39 评论 -
EM算法及其推广学习笔记
EM算法及其推广学习笔记前言在学习隐马尔科夫模型时,在学习算法中指出了Baum-Welch算法,来实现对隐马尔科夫模型参数的求解。在该学习算法中用到了EM算法,因此我们先来看看EM算法到底是何方神圣。可自己在学习EM算法时,又遇到了一个坑,什么是极大似然函数?因此,本文先介绍极大似然函数的相关概念,然后再对EM算法进行物理映射和实际数学推导。本文需要大量概率论知识,在数学推导关键处会贴原创 2016-11-07 22:20:51 · 11100 阅读 · 5 评论 -
K近邻法学习笔记
K近邻法学习笔记k近邻法是一种基本分类与回归方法。但个人并不把它列入到机器学习中的学习算法,它本身并没有对数据进行理论建模的过程,而是根据现有的数据在n维空间的分布,来确定预测点的归属。这就好比,在现实世界的维度中,经常游走于男厕所的我们归为男性,而经常在女厕所出没的人我们归为女性或者是变态。原创 2016-11-15 17:53:47 · 3659 阅读 · 0 评论 -
朴素贝叶斯法学习笔记
朴素贝叶斯法学习笔记前言最近开始学习《统计学习方法》中的朴素贝叶斯,朴素贝叶斯是在贝叶斯的基础上为了简化问题而做出的一种朴素假设。因此,想要理解朴素二字的含义必须先明白什么是贝叶斯。在看了两篇博文和书中的章节后,对贝叶斯产生了一种发自内心的敬仰之心,它的思想无处不在,一时半会是很难hold住这背后的贝叶斯哲学。参考的两篇博文为数学之美番外篇:平凡而又神奇的贝叶斯方法及算法杂货铺——分类原创 2016-11-16 19:52:53 · 2576 阅读 · 0 评论 -
决策树之理解ID3算法和C4.5算法
决策树学习笔记(一)前言决策树本身没有太多高深的数学方法,它依托于信息论的一些知识以及在数据结构中所学的树形结构。书中阐述的相当清楚明白,可是当我看完这些章节时,却始终无法得知决策树构建的思路,即决策树方法本身的诞生历程是什么?发明算法的作者是如何一步步构建,联想,解决数据分类问题的呢?因此,本文重点还是尝试去理解作者是如何一步步构建决策树,希望能够通过对关键问题进行抽象建模从而找到决...原创 2016-11-18 08:07:32 · 29540 阅读 · 7 评论 -
从DBSCAN算法谈谈聚类算法
DBSCAN算法此篇博文尝试讲清楚"物以类聚,人以群分"这个概念,DBSCAN算法中两个参数的实际物理含义,以及它背后所做的基本假设,由于这方面资料不多,因此都属于个人的猜想,不代表发明DBSCAN算法作者本身的想法,且这也是我正式学习聚类算法中的第一个算法,由于知识的局限性,如有不当,请指正。原创 2016-11-29 08:43:23 · 25841 阅读 · 6 评论