机器学习·总览篇
甩一甩SAMA
这个作者很懒,什么都没留下…
展开
-
机器学习 · 总览篇 XI 特征工程
总览篇第4篇到第10篇主要是围绕着模型来介绍的,具体讲述的是机器学习模型的构建和学习的过程;本文是总览篇的最后一篇文章,介绍特征工程,准确来说特征工程是独立与机器学习存在的一个主题,但却是机器学习应用中不可缺少的一环。特征工程在2006年深度学习大热之前,是与“模型”处于同等地位的内容,随着深度学习的兴起,特征工程一部分工作由深度学习的深度网络完成,使特征工程的地位明显降低,然而特征工程真的就因此不重要了吗?并不是,特征工程在当今时代仍然发挥着重要的作用,甚至可以说是无处不在。文章首发于我的博客,转.原创 2020-07-09 12:41:05 · 432 阅读 · 1 评论 -
机器学习 · 总览篇 X 可学习性 & VC理论
VC 理论中 VC维 和 VC界 作为机器学习可学习性的最重要的理论基础,对于机器学习方法的研究和使用具有十分重要的指导意义。比如对于一个任务,我准备使用的机器学习方法是否合理、数据量至少需要多少,这些问题如何在进行实验之前就能被解答?答案就在本文中。文章首发于我的博客,转载请保留链接 ????机器学习主要研究的是怎么去学习解决一个问题,这里面包含了一个隐含的前提条件:对于待学习的问题,学习方法必须是可行的。那么怎么去判定一个学习方法对于问题的可学习性呢?PCA Learning 就是关于机器学习原创 2020-07-09 12:40:11 · 744 阅读 · 0 评论 -
机器学习 · 总览篇 IX 三要素之算法 - 牛顿法与拟牛顿法
在机器学习中,与梯度下降法一样,牛顿法与拟牛顿法在解决目标函数的最优化问题方面也起着重要的作用。本篇是机器学习三要素之算法的第二篇,也是三要素介绍的最后一篇。最近的5篇文章完整地介绍了机器学习的三要素,对三要素的掌握对于机器学习的学习至关重要,所有机器学习方法的想法和实现都离不开这三个要素。算法。文章首发于我的博客,转载请保留链接 ????与梯度下降法一样,在解决机器学习目标函数的最优化问题时,牛顿法与拟牛顿法也起着重要的作用。本文将分三节分别介绍 牛顿法一族、拟牛顿法一族 以及 两者与梯度下降法原创 2020-07-09 12:39:13 · 1070 阅读 · 0 评论 -
机器学习 · 总览篇 VIII 三要素之算法 - 梯度下降法及其变种
机器学习最后一个要素-算法,准确来说是优化算法,特别是数值优化(Numerical Optimization)或凸优化(Convex Optimization),属于运筹学(最优化理论)的一部分。机器学习中广泛使用的凸优化方法主要分为梯度下降法和拟牛顿法,这两类方法都派生出大量的变种,本文将介绍梯度下降法及其变种。文章首发于我的博客,转载请保留链接 ????一、运筹学和凸优化本文要介绍的机器学习最后一个要素-算法,其实就是使用了运筹学、特别是凸优化的相关知识,所以本文首先分别介绍运筹学和凸优化。原创 2020-07-09 12:38:45 · 648 阅读 · 0 评论 -
机器学习 · 总览篇 VII 三要素之策略-正则化
上一篇文章和本文主要介绍三要素的第二要素-策略:上一篇文章中已经介绍了策略中平衡经验风险和结构风险的正则化系数,衡量经验风险的代价函数和损失函数;本文继续介绍最后一个重要的内容,衡量结构风险的正则化项。文章首发于我的博客,转载请保留链接 ????在上一篇文章中提到过,策略部分就是评判“最优模型”(最优参数的模型)的准则和方法,图1是目标函数的函数形式,图1 机器学习模型的目标函数形式如图1所示,目标函数包含了表征经验风险的代价函数和表征结构风险的正则化项,上篇文章已经介绍了正则化系数和损原创 2020-07-09 10:50:27 · 328 阅读 · 0 评论 -
机器学习 · 总览篇 VI 三要素之策略-损失函数
上一篇文章介绍了机器学习三要素中的第一个要素-模型,模型部分限制了预测模型函数的假设空间。本文将要介绍的第二个要素-策略,策略部分就是要定量判断不同参数下模型的优劣,为第三步求解最优模型做基础。由于策略部分想要介绍的内容较多,所以分成了两篇,这是第一篇,主要是对正则化系数和损失函数的介绍。本文首发于我的知乎专栏《机器怎么学习》中机器学习·总览篇(6) 三要素之策略 - 损失函数,转载请保留链接 ????机器学习的学习目标是获得假设空间(模型)的一个最优解,在模型部分,我们固定了模型函数的形式,在此原创 2020-07-09 10:49:47 · 674 阅读 · 0 评论 -
机器学习 · 总览篇 V 三要素之模型
上一篇文章介绍了机器学习的三要素-模型、策略、算法,但只是比较粗略地介绍,本文将着重介绍三要素之模型,视角主要放在不同模型间的区别上本文首发于我的知乎专栏《机器怎么学习》中 机器学习·总览篇(5) 三要素之模型,转载请保留链接 ????机器学习首要考虑的问题是学习什么样的模型,如在《机器学习·总览篇(4) 机器学习的三要素》中描述的,模型就是所要学习的条件概率分布或决策函数。模型的假设空间(hypothesis space)包含所有可能的条件概率分布和决策函数,一般是无穷多种可能性,而训练(数据经原创 2020-07-08 20:24:37 · 295 阅读 · 0 评论 -
机器学习 · 总览篇 IV 机器学习的三要素
从基本理论上看,如前一篇介绍统计推断的文章所说,统计推断是机器学习十分重要的理论基础,所以机器学习狭义上就是指代统计学习方法;从方法框架上看,机器学习(统计学习方法)的组成有三个要素:模型、策略和算法。我们通常接触到的所谓“深度学习”、“支持向量机”、“罗吉斯蒂克回归”、“决策树”等等,都离不开这三要素。毫不夸张的说,学习机器学习的关键,就是掌握它这三个要素。本文首发于我的知乎专栏《机器怎么学习》中 机器学习·总览篇(4) 机器学习的三要素,转载请保留链接 ????一、机器学习的三要素数据在机器原创 2020-07-08 20:18:47 · 626 阅读 · 0 评论 -
机器学习 · 总览篇 III 统计推断: 频率学派和贝叶斯学派
统计推断作为重要的机器学习基础,对它的了解十分必要,否则我们做机器学习只是在黑盒操作,对其原理和结果难以解释本文首发于我的知乎专栏《机器怎么学习》中 机器学习·总览篇(3) 统计推断: 频率学派和贝叶斯学派,转载请保留链接 ????一、机器学习和统计推断的关系这一小节谈到的机器学习是狭义上的概念,特指归纳学习,也是现在通常意义上的机器学习.机器学习领域中的一个方向是通过统计推断中的『数值优化』来解决问题,称为统计学习机器学习是人工智能(交叉学科,定位尚不清晰)的一个子领域;统计推断是统计学原创 2020-07-08 20:14:32 · 894 阅读 · 0 评论 -
机器学习 · 总览篇 II 机器学习的发展历程
学习任何领域,"了解"总是第一步,而认识该领域的发展历程是"了解"一个领域十分有效的方法本文首发于我的知乎专栏《机器怎么学习》中 机器学习·总览篇(2) 机器学习的定义和类别,转载请保留链接 ????机器学习的发展历程机器学习的发展和人工智能发展是离不开的,机器学习是人工智能研究发展到一定阶段的必然产物。人工智能的研究历史有着一条从以“推理”为重点,到以“知识”为重点,再到以“学习”为重点的自然、清晰的脉络。下面是人工智能发展的三个时期:推理期: 时间为1950s~1970s,人们认为只原创 2020-07-08 20:13:59 · 1847 阅读 · 1 评论 -
机器学习 · 总览篇 I 机器学习的定义和类别
天下难事,必作于易。机器学习作为一个有广泛研究范围和应用范围的领域,要在整个领域有很深的造诣是十分困难的一件事情,一个好的途径是先去了解和掌握概况,然后再去选择感兴趣的研究方向。要做到前面这一点,根据我一贯认同的“总览-掌握-超越”三步走的方法,应该是能相对容易地达成,所以也就首先有了这个机器学习的总览篇第一篇文章,后续会继续分享有监督学习篇、深度学习篇(由于内容丰富故单独一篇)、强化学习篇、无监督学习篇、半监督学习篇这五篇,每一篇会包含10篇以内的文章,文章宗旨是简明扼要、博采众长。本文首发于我的.原创 2020-07-08 20:13:11 · 655 阅读 · 0 评论