台湾大学机器学习基石Lecture3-CSDN博客

本文链接：https://blog.csdn.net/buwei0239/article/details/78174282

3-1:learning with different output space

3.1.1:二元分类

前面所提到的发放信用卡问题就是二元分类，其标签y有+1和-1之分，对应的是发放信用卡与否，现实生活中二元分类的问题有很多。

3.1.2:多元分类

例如，鉴定美国硬币的种类，假设美国硬币有四种，分别用{1c,5c,10c,25c}表示，我们可以通过判别不同硬币的size(大小)以及mass(质量)来对硬币进行分类，当然这是一个四分类问题，还有更一般的，比如 $y=\left(1,2,\cdots,k\right)$ 类，若令 $k=2$ ，那么就变为二分类问题了。

3.1.3:回归分析

比如给定一组数据来对病人的病情恢复情况进行预测等等。
当然除了以上三种。还有更多复杂的其他类型的分类问题。

3-2：Leaning With Different Data Label

本节介绍了四种类型，如下所示：
这里写图片描述

1、监督学习

还是举上面那个分类四种美国硬币的例子，{1c,5c,10c,25c}，那么对于一组数据，监督学习就是指你知道所有数据对应的标签，也就是你知道完整的每个数据属于哪一类。比如下图所示：
这里写图片描述

2、无监督学习

监督学习是你知道所有数据对应的标签，那么无监督学习就是你不知道任何一组数据属于哪一种类型，如下图所示，你只知道存在这一组数据，这种问题常见的就是聚类分析，把数据分群。
这里写图片描述

3、半监督学习

半监督学习就是处于监督学习和无监督学习之间的一种学习类型，半监督学习的数据会告诉你一小部分数据标签，大部分是未知的，需要你进行分类，例如美国硬币分类问题，如下图所示，只有少部分数据点进行了标记。
这里写图片描述

4、增强学习

比如你曾看过电视上有一只狗，然后主人说什么命令它就做什么命令，那么这个如何训练出来的呢?日常训练中，比如开始的时候主人说坐下，狗狗却趴着了，那么我们就可以不给它奖励(比如给它骨头吃)甚至惩罚它，如果有时候它做对了，就给它奖励，那么狗狗就会学习到主人的命令，后面继续增强自己的表现。
这就是增强学习，通过对一个行为作出惩罚或者奖励，以此获得输出并进而学习。
比如一个广告系统，可以设计成这个样子：
$\left(顾客，投放广告，顾客是否点击\right)$ ，用顾客是否点击来增强该系统的学习。

3-3：Leaning With Different Protocol

根据不同的协议将机器学习分成3类：
1、Batch 算法：即批量学习方式，一次性将很多数据给算法去学习。
2、online(线上)学习：一点一点的将数据传送给算法进行学习，比如PLA或者垃圾邮件分类等等。对垃圾邮件分类展开叙述一下吧：
step1：你收到一封新邮件
step2:用g预测该邮件的状态，即垃圾邮件与否。
step3：从用户那里获得标签y，并且用 $(x_t,y_t)$ 更新g
从而使得g越来越好。
3、Active(主动)学习：简单地说，就是Learning By Asking。