机器学习方法的分类——（机器学习基石3）

这周学习的主要是一些理论知识，介绍机器学习的不同学习方法。

不同的分类方式可以得出不同的学习类型，下面是总体的四种分类方式：

1.     按照不同的输出空间Y 分类

2.     按照不同的数据标签 yn 分类

3.     按照不同得到目标函数的方式分类

4.     按照不同的输入空间X 分类

 

（1）   按照不同的输出空间Y 分类

这个问题林老师列出了三种学习方式，分别是分类问题，回归问题，结构标记问题。之前的PLA是一种简单的二元分类问题，多元分类的话就是聚类的思想。回归问题，是基于数据具体值的预测，用一些函数曲线去近似拟合训练集，最后以这个函数曲线去预测新的点，在数值分析课程中，我们学过拉格朗日插值以及牛顿插值法，实际的运用还没有尝试过。结构学习是比较复杂的一个问题，就是类似一个句子的词性标注，然后将整个句子的词性结构找出来，用这个对于短文本的输入提示，还有机器翻译十分有帮助。

 

（2）   按照不同的数据标签 yn 分类

这样分类比较好理解。监督和非监督是基于数据量来说，如果实现给定好了数据集，通过训练得到一个预测函数，那么这个预测函数是固定的，会一直使用下去。而非监督式学习的数据量没有来的那么直接，需要一次一次的根据数据情况与结果来进行学习，比如下棋程序，计算机可以尝试记住这次这样行走获胜的概率是怎么样，如果这样走最终输了，下一次计算机就不会这么走了。一种次要的非监督学习称之为聚类，也是一个非监督式的学习的例子。

半监督学习和增强(reinforcement)在实际应用中更加普遍。数据的标记需要人工实现，然而这样的开销是很大的。半监督就是给定少部分的数据，机器通过这部分的学习，再对新的样本进行判断。这部分的应用有人脸识别，以及药物效果的预测。而reinforcement是半监督学习的加强，通过不断得到的数据进行学习，巩固，逐步递进。例如搜索引擎的广告系统，针对不同用户信息以及query放什么广告，放在什么位置，这需要增强学习去不断的强化，让用户通过点击率反馈机器学习系统使得其不断优化，因为我们自己定义数据标记是很困难的，又例如机器学习开车。因此增强学习的关键在于反馈的存在。

 

（3）   按照不同得到目标函数的方式分类

按照这个分类，可以把学习方式分为batch，online，active。可以抽象理解成，填鸭式，老师教学，以及主动问问题。Batch，有点类似superivsed learning，是给定了学习数据，通过学习得到一个固定的预测函数。而online learning则像reinforcement learning。是通过数据的不断获取来不断更新预测函数。而active learning则是一种更有效的。通过有策略性地向人去提问题，以一些小的标签数据来得到一个好的预测函数。这个在标签数据非常少的时候具有很强地有效性。

 

（4）   按照不同的输入空间X 分类

根据不同的输入数据，可以分为concrete(具体数据)，raw(原始未处理数据)，abstract(抽象数据)。Concrete是指具体的数据，例如之前对信用卡问题的每个客户的数据，这些都是有具体的数值的。Raw是通过转换可以得到concrete数据的原始数据。例如图像数字识别，可以根据像素点的对称性，密度来测算，最终识别哪个数据。而原来的像素点值和位置就是raw的，而最终计算的对称性，密度等就是concrete的。Abstract是更加抽象的数据，例如用户音乐推荐系统，拿到的数据只有用户是谁，ip，听过什么歌，然而这些数据要准确预测出用户还喜欢听什么歌，这个是更加抽象的问题。

总结：

      这一讲的内容还是比较偏理论，需要自己理解消化吸收。在以后的具体问题上，能知道这个属于哪种学习方式，哪一种会更加适合。在今后学习具体的学习方法时，也要知道哪种学习方式对应哪种方法，准确地使用适合的方法。