机器学习方法系列
对半独白
笔记是积淀的一种途径。
展开
-
机器学习方法篇(1)------概览
计划从本周开始一个机器学习系列的分享,把机器学习涵盖的一些常用方法梳理一遍。一方面可以对实践过的方法加深理解,另一方面也能借此机会学习那些没有实践过的方法。接下来的几周,我将用通俗易懂的语言,为大家讲解机器学习的常用算法,若有理解偏差请留言指正。原创 2017-06-04 14:42:57 · 819 阅读 · 0 评论 -
机器学习方法篇(17)------集成学习
俗话说“三个臭皮匠,顶个诸葛亮”,在机器学习中也是如此。单个模型的性能效果通常弱于多个模型的融合结果,这种融合就叫做集成学习。那么集成学习有哪些常见模型?这种集成是否一定能提升模型效果呢?原创 2017-11-19 17:28:24 · 895 阅读 · 0 评论 -
机器学习方法篇(18)------聚类
在实际生活中,无论是超市货架还是网络社交群体,都体现着归类的相似性,即所谓的“物以类聚,人以群分”。而在机器学习中,专门有这么一类针对类别划分的算法,就是我们要讲的聚类。那么,聚类的数学含义是什么?又有哪些常用算法?原创 2017-12-03 18:04:12 · 667 阅读 · 0 评论 -
机器学习方法篇(19)------划分聚类法
前面介绍了什么是聚类以及聚类的相似性度量方法,本节开始讲解最常用的聚类方法,划分聚类。划分聚类的原理思想是什么?又有哪些常用的算法?原创 2017-12-17 19:20:25 · 2944 阅读 · 0 评论 -
机器学习方法篇(20)------层次聚类法
● 每周一言如果有人相信你,给你机会,你就有义务加倍努力。导语前面介绍了划分聚类法,在划分聚类中,通常需要指定聚类个数,这样指定的个数往往不是最优个数。本节要讲的层次聚类法,更关心的是同类别样本之间的相似性,而非聚类个数。那么,层次聚类的原理思想是什么?又有哪些常用算法?层次聚类层次聚类顾名思义,按层次对样本进行聚类。层次聚类法按照层次分解顺序可以分成自底向上和自顶而下原创 2018-01-14 18:24:02 · 1084 阅读 · 0 评论 -
机器学习方法篇(21)------密度聚类法
● 每周一言别让偶尔的关心打败习惯的温暖。导语前面介绍了层次聚类法,在聚类效果上,层次聚类的最大问题是:有可能聚出链状类。本节要讲的 密度聚类法 可以克服这个缺点,其原理也更接近于直观意义上的聚类。那么,密度聚类的思想是什么?又有哪些常用算法?密度聚类密度聚类顾名思义,是一种基于样本密度的聚类思想。直观意义上理解,好比在一张地图上做人口密度分布图,密集区域通常会认为是城原创 2018-02-04 16:20:14 · 1007 阅读 · 0 评论 -
机器学习方法篇(24)------理解RL中的MDP
● 每周一言珍惜当下,是对未来最好的承诺。导语上一节介绍了增强学习的一些基本概念,并提到了增强学习被广泛应用的各种场景。那么,增强学习在这些应用当中到底是如何起作用的?换言之,增强学习的优化目标是什么?MDP我们知道, AlphaGo的核心技术是增强学习,我们不妨先仔细想一个问题:对于围棋对弈过程中的每一回合,落子之法究竟受到哪些因素的影响?抛开人类棋手可能受到的各种情...原创 2018-03-10 22:33:45 · 1831 阅读 · 0 评论 -
机器学习方法篇(22)------模型聚类法
● 每周一言思考如脚印,踩的越深走的越稳。导语前面已经讲完三种聚类方法,剩下的模型聚类法,主要分为基于概率模型聚类和基于神经网络模型聚类两种。其中基于概率模型的聚类方法较为流行。而在概率模型聚类法中,最典型、也最常用的就是高斯混合模型GMM了。那么,GMM是什么,又是如何聚类的?GMM聚类高斯混合模型(GMM,Gaussian Mixture Models),顾名思...原创 2018-02-24 18:10:37 · 1622 阅读 · 0 评论 -
机器学习方法篇(23)------增强学习入门
● 每周一言别让梦想的附属品喧宾夺主。导语在小斗去年五月份写的 AlphaGo技术剖析:揭开围棋大脑的神秘面纱 这篇介绍AlphaGo的文章中讲到,AlphaGo之所以能战胜人类顶尖的围棋手,主要是 增强策略网络 的功劳。而增强策略网络的核心技术,便是增强学习。那么,增强学习到底是什么?增强学习增强学习(Reinforcement Learning),又名强化学习,和监督学...原创 2018-03-04 17:34:37 · 702 阅读 · 0 评论 -
机器学习方法篇(25)------RL价值学习方法
● 每周一言对待别人的轻视,最好的回击是站在更高的位置。导语上一节讲了如何理解增强学习中的马尔科夫决策过程,并举了具体的例子来描述其求解方法,对算法熟悉的人或许已经看出上节示例中使用的方法是动态规划学习法。那么,除了动态规划法,增强学习的价值学习方法还有哪些?这些方法的不同之处又是什么?RL价值学习方法动态规划(Dynamic Programming)是一种解决复杂问题的算法,...原创 2018-03-17 23:56:21 · 1090 阅读 · 0 评论 -
机器学习方法篇(26)------蒙特卡罗方法
● 每周一言易怒与躁动,是不成熟的表现。导语蒙特卡洛,是袖珍之国摩纳哥的一座赌城名字。冯·诺依曼用一个赌城的名字命名蒙特卡洛方法,增加了这个方法的神秘性。那么,MC的算法思想是什么?蒙特卡罗方法如上一节所述,MC是一种基于样本而不基于模型的价值学习方法,只需要在不断试错过程当中学习到的经验。总体来说,MC的核心思路步骤是:探索 → 模拟 → 抽样 → 估值 → 策略优化...原创 2018-04-07 14:31:34 · 1744 阅读 · 0 评论 -
机器学习方法篇(27)------时序差分方法
● 每周一言智商决定深度,而情商决定高度。导语前面分别讲解了增强学习当中的动态规划方法和蒙特卡洛方法的算法思想。在实际问题当中,DP通常无法或者很难得到问题的真实模型结构,MC则很难估算一次行动的最终价值奖励。时序差分方法结合了动态规划和蒙特卡洛方法的优点,是强化学习的核心思想。那么,TD的算法思想是什么?时序差分方法前文我们了解了MC是每次对样本进行完整的采样模拟,用...原创 2018-04-29 08:17:04 · 2319 阅读 · 0 评论 -
机器学习方法篇(29)------主成分分析
● 每周一言评论家通常比实干家来的容易。导语上一节介绍了什么是降维,以及降维解决的问题。本节将介绍线性降维中的主成分分析PCA的具体算法思想和步骤。主成分分析主成分分析,顾名思义就是提取出主要的成分。直观上理解,降维其实就是从稀疏庞大的特征维度上提取出主要的维度。PCA是一种常用的降维技术,其思想是将N维特征映射到K维特征上,这K维特征两两正交,正交可以理解为互不依赖,在空...原创 2018-06-03 11:54:58 · 542 阅读 · 0 评论 -
机器学习方法篇(28)------降维和度量学习
● 每周一言。导语在特征提取过程中,有时候会遇到特征维数非常大(维数灾难)的情况,这种情况会带来两个主要问题:一是样本稀疏大大削弱了特征表达能力,二是高维数所带来的庞大计算量。降维和度量学习便是维数灾难的解决之法。那么,究竟什么是降维和度量学习?降维和度量学习首先我们来讲讲这个“维数灾难”。特征维数变大之后,为什么会出现“灾难”?不妨举一个例子来直观理解:比如一个分类问题,...原创 2018-05-27 18:07:01 · 1108 阅读 · 0 评论 -
机器学习方法篇(16)------朴素贝叶斯分类
上周讲了四个概率统计公式,加法公式、乘法公式、贝叶斯公式、全概率公式,其中的贝叶斯公式由概率乘法公式联立推出。而作为贝叶斯分类中应用最为广泛的模型,朴素贝叶斯分类模型的算法思想是什么?这些公式又是如何运用到分类问题当中的?原创 2017-11-05 19:43:00 · 609 阅读 · 0 评论 -
机器学习方法篇(14)------SVM公式推导
前两节讲完了拉格朗日乘子法和KKT条件,而SVM正好符合拉格朗日乘子法定义的不等式约束优化问题形式,本节就基于KKT条件来推导一下SVM。原创 2017-10-15 18:11:12 · 988 阅读 · 0 评论 -
机器学习方法篇(4)------决策树剪枝
由于决策树的分支过多,使得训练集某一小部分的样本特征被当成所有样本所具有的一般性质,会导致所谓的过拟合现象,而决策树应对过拟合的主要办法是剪枝。那么,决策树的剪枝具体是如何操作的?原创 2017-07-02 17:51:01 · 1222 阅读 · 0 评论 -
机器学习方法篇(2)------线性模型
线性模型应该是最直观最容易理解的一种机器学习模型了,同时也是使用最广泛的一种模型,比如各种模型中常出现的softmax层、全连接层等等,都属于线性模型。那么线性模型到底是一个什么模型,其训练方式又是如何?原创 2017-06-11 19:32:36 · 950 阅读 · 0 评论 -
机器学习方法篇(3)------决策树入门
决策树是一种树形分类模型,每个非叶子结点相当于if条件语句,通过逐个判定特征所属类别进行分类。那么,决策树模型具体是如何实现的?原创 2017-06-23 23:21:40 · 791 阅读 · 0 评论 -
机器学习方法篇(5)------神经网络概述
早在二十世纪四十年代,心理学家Mcculloch和数理逻辑学家Pitts在分析、总结神经元基本特性的基础上,就提出了神经元的数学模型。随着计算机硬件技术的飞速发展,神经网络从最初的单层感知机结构发展成了如今流行的多层网络。那么,神经网络为何如此流行?其又是如何工作的?原创 2017-07-09 19:55:17 · 865 阅读 · 0 评论 -
机器学习方法篇(6)------朴素RNN公式推导
最近工作中用到了循环神经网络(Recurrent Neural Networks),感觉网上的各种资料包括相关论文及技术博客等等,似乎都不能足够细致清晰的给出推导步骤。因此于周日闲暇时光试推公式,却陷于时间维度的反向传播推导之中,直到昨晚才恍然大悟。在这里与大家分享我的推导,也便于日后温习与查阅。原创 2017-07-18 10:03:33 · 3518 阅读 · 10 评论 -
机器学习方法篇(8)------卷积神经网络公式推导
前两篇已推完RNN和LSTM的公式,本篇讲讲卷积神经网络的公式推导。粗一想,或许会认为CNN的网络结构相当于DNN的每一层由一维变成二维,而残差的传递只是增加了一个平行累积的过程。但是,在卷积层的残差反向传播中,会出现卷积核180度翻转的现象。那么,卷积核翻转是什么意思?CNN的公式推导究竟如何呢?原创 2017-07-30 17:13:02 · 2468 阅读 · 3 评论 -
机器学习方法篇(7)------LSTM公式推导
上篇对循环神经网络RNN进行了公式推导,并提到RNN存在梯度消失问题,容易将较早之前的有用信息“忘却”。而本篇要讲的LSTM模型,通过增加“门”的方式能有效弥补朴素RNN的缺陷。那么,LSTM模型具体是如何实现的?原创 2017-07-23 20:40:02 · 2726 阅读 · 3 评论 -
机器学习方法篇(10)------随机森林
前面介绍了决策树算法应用之一的GBDT模型,本节讲讲决策树另一个比较火的应用模型,随机森林。与GBDT模型相比,同样属于集成学习,随机森林原理更为直观简洁,模型性能也同样十分强悍。下面,我来讲讲随机森林算法模型的原理与思想。原创 2017-09-03 18:17:09 · 2909 阅读 · 0 评论 -
机器学习方法篇(11)------SVM入门
支持向量机由Bell实验室于1995年提出,是一种非常有潜力的分类模型。与逻辑回归、神经网络模型相比,支持向量机有着更强的数学理论背景。那么,支持向量机到底是什么?原创 2017-09-17 19:28:47 · 1176 阅读 · 0 评论 -
机器学习方法篇(9)------梯度提升决策树GBDT
● 每周一言生命在于运动,无论脑力还是体力。导语前面第3、4两节介绍了决策树,由于决策树简单有效,可解释性强,因此被包装成了一些更为高效的机器学习算法,其中最为知名的就是梯度提升决策树GBDT(Gradient Boosting Decision Tree)和随机森林(Random Forest)这两种模型。本节讲解GBDT,讲讲这个在各大竞赛中炽手可热的模型。GBDTG-B-D-T梯度提升决策树,原创 2017-08-20 22:16:45 · 3451 阅读 · 0 评论 -
机器学习方法篇(13)------KKT条件
上一节讲了带等式约束条件的函数凸优化方法拉格朗日乘子法,本节讲讲带不等式约束条件的函数凸优化方法——KKT条件,为之后深入讲解SVM做准备。原创 2017-10-08 20:52:53 · 2317 阅读 · 0 评论 -
机器学习方法篇(12)------拉格朗日乘子法
上一节讲到SVM的优化公式,并提到SVM在强大的数学理论背景之下有着十分高效的训练方法,本节就先来讲讲在这之中的一个关键知识点——拉格朗日乘子法,为之后深入讲解SVM做准备。原创 2017-10-01 16:35:35 · 5736 阅读 · 0 评论 -
机器学习方法篇(15)------贝叶斯分类基础
学过统计分析,一定知道什么是先验概率和后验概率,而贝叶斯分类器的原理和这两种概率息息相关。为了更好地讲解贝叶斯分类器,本节先讲讲概率统计相关的基础知识,方便之后的公式推导。原创 2017-10-22 18:38:50 · 453 阅读 · 0 评论 -
机器学习方法篇(30)------线性判别分析
● 每周一言想高效的工作,合作不可或缺。导语上一节介绍了PCA降维方法,PCA是一种无监督降维方法。本节将介绍另外一种常见的有监督降维方法,线性判别分析LDA,以及其具体的算法思想和步骤。线性判别分析我们知道,降维的最终目的是一方面能将特征维数大大降低,另一方面则能够最大程度的保持原样本数据的多样性。 前一节所讲的PCA模型,可以将样本数据投影到方差最大的低维空间中,保证...原创 2018-06-17 17:54:25 · 698 阅读 · 0 评论