本节课将主要介绍一下机器学习有哪些种类,从4个方面进行分类。
按输出空间分类、按标签分类、按问题协议分类、按输入空间分类
注:分群= 聚类
一、按输出空间分类
二分类问题
机器要不要发信用卡?即,机器学习如何做“是非题”。
输入:(顾客资料)
输出:(引用卡记录好坏)
资料:
多分类问题
我们要区分不同种类的硬币
输入:(硬币资料)
输出:(硬币种类)
资料:
其他多分类问题:手写数字识别、水果图像分类、垃圾邮件
回归问题
如果我们今天给了病人的状况,那么我们想知道病人多少天可以恢复?
输入:(病人资料)
输出:(恢复天数,可能是一个范围)
资料:
其他回归问题:预测股票价格,预测天气情况
结构化问题
自然语言处理中的一个小问题:如果我给了一句话:I love ML,能否知道句子里的每个词的词性是什么?
当我们将句子输入机器时,结构化学习的输出空间包含了某种结构在里面,例如此处只看love可能是名词或者动词,但是放到句子里就只能是动词了(不可能三个名词构成一个句子)。
输入:(句子)
输出:(结构化结果,{词性1,词性2,...,词性d})
资料:
其他结构化问题:预测蛋白质3D立体长相,将一段话构造关系树。
总结:
二、按标签分类
我们可以按标签是否给出进行分类。
监督学习
如果我们拿到的训练样本D既有输入特征x,也有标签y,那么我们称他为监督学习。上面的分类、回归问题都属于监督学习。
输入:
输出:(视具体问题而定)
资料:
无监督学习
如果我们拿到的训练样本D没有标签y,则称为无监督学习。
输入:
输出:视具体问题而定,例如聚类问题输出是将点归为不同类,但是这里的类别是人为规定的。
资料:
聚类(clustering)问题(无监督的多分类):网页上新闻的自动分类、顾客分群做商业活动。
其他无监督问题:异常值监测(无监督的二分类)、密度估计(无监督的回归问题)。
半监督学习
如果样本D一部分有标签,一部分无标签,则称为半监督学习。
输入:
输出:视具体问题而定
资料:
半监督的问题很多都可以使用监督学习的一些算法思想来实现。
半监督学习可以应用的问题:少量标注的人脸图像进行人脸识别,少量标注的医药资料预测药物效果
强化学习
增强学习中,给定输入x,但是给不了真实的输出y,根据模型的输出进行反馈z,如果模型输出更接近真实输出,就给其正向反馈,如果偏离真实输出,就给其反向反馈。通过“反馈-修正”这种形式使得模型一次一次学习的更好。
输入:
输出:视具体问题而定
资料:(z为模型的反馈)
实例:增强学习可以类比成训练小狗的过程,比如我们要训练狗狗坐下,但是狗狗无法直接听懂坐下的指令。在训练过程中,当我们发出指令,狗狗坐下或者作出很好的动作时,我们给予奖励,但是如果它做其他不好的动作,我们就给他惩罚。这样不断修正狗狗的动作,最终能让使他学会坐下。
实际生活中,增强学习的例子也很多,比如根据用户点击、选择而不断改进的广告系统。
三、按问题协议分类
我们可以按照与机器沟通的不同方式进行分类。
批处理
之前的硬币分类问题,我们收集了200个硬币的数据,将它们直接放入机器进行学习。这样的整批将收集的数据一次性用于训练的类型叫做batch learning。
online
但我们在日常生活中希望他越学越好,不断更新。实际应用中我们一笔一笔得到数据,之后我们一笔一笔放入机器不断修正它。可以看做是一个动态的过程。之前的PLA和增强学习都可以使用online模型。
PLA:拿来一个新的数据,做预测,如果正确就不动,如果错误就对模型修正。
增强学习:一次只针对“小狗”的一个动作进行反馈,所以数据也是一笔一笔进来。
主动学习
在取得标记开销很大的情况下,为了节约时间和成本,通常标记不多或者我们不要求做太多的标记。我们让机器具备主动问问题的能力,例如手写数字识别,机器自己拿不定主意的时候会主动提问获直接取真实标签。
四、按输入空间分类
这部分,将介绍按照输入空间X如何进行分类。
concrete features
通常这些数据中都带有人类的智慧,比如说对这些事物的描述。所以可以当做已经进行预处理。人类的智慧:比如说硬币分类问题中硬币的大小、重量等;比如顾客资料中的信用记录等。concrete features对机器学习来说简单的。
raw features
raw features一般比较抽象,经常需要人或者机器来转换为其对应的concrete features,比如在手写识别数字的问题中,要转换为一些人类智慧(这个数字是否有对称性,数字密度等)或者机器转化(转化为像素向量)。这个转换的过程就是Feature engineering。这个类型常常在视频、语音辨识的问题中出现。
abstract features
输入特征完全是抽象的,没有实际的物理含义。比如只提供二维向量(加密后顾客ID,顾客的打分)。需要对特征进行更多的转换和提取。所以对于机器学习来说是比较困难的。