学习理论
1、基本概念
2、PAC理论
3、VC维
4、极大似然,最大后验概率,贝叶斯估计
5、模型评估与评价指标
6、模型诊断调参
一、基本概念
机器学习三定义:
1、计算机系统能够利用经验提高自身的性能
2、学习就是一个基于经验数据的函数估计问题
3、提取重要模式、趋势、并理解数据,从数据中学习
引用吾师的话:“三个定义各有侧重点,但都强调经验或数据的重要性”。一般而言,我们常用第二个定义,即基于经验数据的函数估计问题,形式化的给出了机器学习就是一个函数估计问题。但也强调了数据的重要,无数据巧妇难为无米之炊。所以,机器学习中必备三要素,数据、代码、论文。
机器学习常用的分类:
1、监督:样本数据 有标签–分类,回归
2、无监督:样本数据无标签–聚类、异常
3、弱监督:样本数据的标签信息较“弱”–半监督、在线、强化
以上是机器学习最常用的一种基于任务的分类方式,而不同类型下面又有各种算法,有的有千丝万缕的关系,有的却迥然不同,所以很多时候我们不能直接评判那种模型好,只能说某种某些适合某种场景,也不存在一种模型包打天下(深度学习好像是个特例,当然深度学习下面已经衍生了各种算法)。正是因为我们很难从任务上对比模型,所以笔者就自己所了解的模型从模型的角度进行了对比,分析对比了模型之间的关系,以及适应场景。
一般而言,无论是监督,无监督,弱监督,都可以形式化如下过程:
其中,假设空间是我们假设的目标函数空间集(线性,非线性)以及选择目标函数的策略(经验风险,结构风险),通过常用的学习算法(梯度下降,EM算法,坐标下降算法)学习到的最优解即为目标空间,然后当新来数据,依据最优的模型进行预测(分类,回归,聚类)。另外,我们称训练数据为输入空间,一般会做一些特征工程的操作将数据从输入空间映射到特征空间(线性,非线性),然后通过目标函数映射到输出空间。