[机器学习基石]台大林轩田笔记3 -- Types of Learning

一、Learning with Different Output Space Y（17min）

1. 复习是非题：
   
   要不要这种是非题，我们称为二分类binary问题。
   
   二元分类的问题很常见，包括信用卡发放、垃圾邮件判别、患者疾病诊断、答案正确性估计等等。二元分类是机器学习领域非常核心和基本的问题。二元分类有线性模型也有非线性模型，根据实际问题情况，选择不同的模型。
   

2. 二元分类binary classification：除了二元分类，也有多元分类（Multiclass Classification）问题。输出现在不是两种，而是k种。二元分类则是多元分类的一个特殊情况。
   对美国硬币做多分类问题。
   
   还有以下如识别手写体数字、图片分类、邮箱垃圾文件应用。
   

3. 多元回归问题regression：除了分类的问题，还有一类叫做回归问题，即为regression回归分析，在统计学是非常传统的问题。
   

4. 自然语言处理Natural Language Process：现在我们让机器去学习做一件新的事情，如自然语言处理。现在我们不是以word为单位，而是以一整个句子为单位。
   
   用自然语言理解的应用：结构化学习问题
   

5. 简单总结一下，机器学习按照输出空间划分的话，包括二元分类、多元分类、回归、结构化学习等不同的类型。其中二元分类和回归是最基础、最核心的两个类型，也是我们课程主要介绍的部分。
   
   习题1 选择2
   

二、Learning with Different Data Label yn（18min）

1. 监督学习与无监督学习：如果我们拿到的训练样本D既有输入特征x，也有输出yn，那么我们把这种类型的学习称为监督式学习（Supervised Learning）。
   
   监督式学习可以是二元分类、多元分类或者是回归，最重要的是知道输出标签yn。与监督式学习相对立的另一种类型是非监督式学习（Unsupervised learning）。监督式学习可以是二元分类、多元分类或者是回归，最重要的是知道输出标签yn。与监督式学习相对立的另一种类型是非监督式学习（Unsupervised learning）。
   
   非监督式学习是没有输出标签yn的，典型的非监督式学习包括：聚类（clustering）问题，比如对网页上新闻的自动分类；密度估计，比如交通路况分析；异常检测，比如用户网络流量监测。通常情况下，非监督式学习更复杂一些，而且非监督的问题很多都可以使用监督式学习的一些算法思想来实现。非监督式学习是没有输出标签yn的，典型的非监督式学习包括：聚类（clustering）问题，比如对网页上新闻的自动分类；密度估计，比如交通路况分析；异常检测，比如用户网络流量监测。通常情况下，非监督式学习更复杂一些，而且非监督的问题很多都可以使用监督式学习的一些算法思想来实现。
   

2. 半监督式学习：介于监督式和非监督式学习之间的叫做半监督式学习（Semi-supervised Learning）。
   
   顾名思义，半监督式学习就是说一部分数据有输出标签yn，而另一部分数据没有输出标签yn。在实际应用中，半监督式学习有时候是必须的，比如医药公司对某些药物进行检测，考虑到成本和实验人群限制等问题，只有一部分数据有输出标签yn。

3. 增强学习（Reinforcement Learning）：监督式、非监督式、半监督式学习是机器学习领域三个主要类型。除此之外，还有一种非常重要的类型：增强学习（Reinforcement Learning）。
   
        增强学习中，我们给模型或系统一些输入，但是给不了我们希望的真实的输出y，根据模型的输出反馈，如果反馈结果良好，更接近真实输出，就给其正向激励，如果反馈结果不好，偏离真实输出，就给其反向激励。不断通过“反馈-修正”这种形式，一步一步让模型学习的更好，这就是增强学习的核心所在。增强学习可以类比成训练宠物的过程，比如我们要训练狗狗坐下，但是狗狗无法直接听懂我们的指令“sit down”。在训练过程中，我们给狗狗示意，如果它表现得好，我们就给他奖励，如果它做跟sit down完全无关的动作，我们就给它小小的惩罚。这样不断修正狗狗的动作，最终能让它按照我们的指令来行动。
   
        实际生活中，增强学习的例子也很多，比如根据用户点击、选择而不断改进的广告系统增强学习中，我们给模型或系统一些输入，但是给不了我们希望的真实的输出y，根据模型的输出反馈，如果反馈结果良好，更接近真实输出，就给其正向激励，如果反馈结果不好，偏离真实输出，就给其反向激励。不断通过“反馈-修正”这种形式，一步一步让模型学习的更好，这就是增强学习的核心所在。增强学习可以类比成训练宠物的过程，比如我们要训练狗狗坐下，但是狗狗无法直接听懂我们的指令“sit down”。在训练过程中，我们给狗狗示意，如果它表现得好，我们就给他奖励，如果它做跟sit down完全无关的动作，我们就给它小小的惩罚。这样不断修正狗狗的动作，最终能让它按照我们的指令来行动。实际生活中，增强学习的例子也很多，比如根据用户点击、选择而不断改进的广告系统。
   
   参考文章:台湾大学林轩田机器学习基石课程学习笔记3 – Types of Learning
   习题2 选择3
   

三、Learning with Different Protocol $f(x_n,y_n)$（11min）

• Batch Learning - 成批喂给机器资料
  
• Online - 邮件一封封进来
  
  PLA很容易用在这里。
  
• Active Learning
  抽象上的学习方式，batch填鸭式学习，online一道一道去教。现在我们希望机器能自己来问问题，主动学习。
  
  总结：
  
  习题3 选择3
  

四、Learning with Different Input Space X（14min）

上面几种机器学习分类一直在聊输出的问题，现在我们看看输入部分。

1. 具体特征：输入X的第一种类型就是concrete features。比如说硬币分类问题中硬币的尺寸、重量等；比如疾病诊断中的病人信息等具体特征。concrete features对机器学习来说最容易理解和使用。
   
2. 原始数据：第二种类型是raw features。比如说手写数字识别中每个数字所在图片的mxn维像素值；比如语音信号的频谱等。raw features一般比较抽象，经常需要人或者机器来转换为其对应的concrete features，这个转换的过程就是Feature Transform。
   
   将图片变成数字向量。
   
   数据越抽象，机器学习越困难。
3. 抽象数据：第三种类型是abstract features。比如某购物网站做购买预测时，提供给参赛者的是抽象加密过的资料编号或者ID，这些特征X完全是抽象的，没有实际的物理含义。所以对于机器学习来说是比较困难的，需要对特征进行更多的转换和提取。
   
   
4. 总结：
   
   习题4 选择4