吴恩达机器学习笔记—监督学习和非监督学习（Machine Learning）

“吴恩达机器学习”网易云课堂的视频课程的学习笔记—希望能跟有兴趣的同学一起学习。

这是课堂链接：https://study.163.com/course/courseMain.htm?courseId=1004570029

（1）监督学习（Supervised learning）

给算法一个数据集，其中数据集中包含了“正确答案”，根据这些样本做出算法预测，得到未知数据的“正确答案”。概况为两类：回归问题和分类问题

    ①回归问题：离散数据集—连续输出

        如房价预测，根据离散样本集拟合出一条连续曲线，得到房子的“估价”

   ②分类问题

      例如：根据肿瘤特征组（可以为多个或无限个特征）判断良性还是恶性，得到的是结果是“良性”或者“恶性”，是离散的。此外，在用大数量的特征做预测时，你的计算机可能会溢出，如何处理无个特征？吴恩达老师在视频中提到了，支持向量机为例，有能灵活处理这个问题的算法。后面会补充如何处理这个问题的相关内容。

（2）非监督学习（Unsupervised learning）

         非监督学习的数据集跟监督学习的数据集不同，它没有任何标签，即没有相应的“正确答案”。 非监督学习指，给出一组无标签的数据集，通过学习而得到数据的某种结构。

        ①聚类问题：可能判定数据为两个不同的聚集簇，称为聚类算法。（聚类算法应用较广，如GOOGLE NEWS）

      ②鸡尾酒会问题（cocktail party problem algorithm）：分离音频问题

(3)监督学习和无监督学习的区别（资料来源http://blog.sina.com.cn/lancerwilliam）

有监督学习：对具有概念标记（分类）的训练样本进行学习，以尽可能对训练样本集外的数据进行标记（分类）预测。这里，所有的标记（分类）是已知的。因此，训练样本的岐义性低。

无监督学习：对没有概念标记（分类）的训练样本进行学习，以发现训练样本集中的结构性知识。这里，所有的标记（分类）是未知的。因此，训练样本的岐义性高。聚类就是典型的无监督学习。

机器学习中的方法或范式（paradigm）有很多种分类体系，例如从学习的方式分，有例子中学习、类比学习、分析学习等，但一般来说，现在研究得最多、被认为最有用的是从例子中学习。对从例子中学习，又有很多分类方法，例如从学习的主动性方面，可以分为主动学习和被动学习；从训练过程启动的早晚，可以分为迫切学习和惰性学习等等。最常见的对“从例子中学习”的方法的分类是监督学习、非监督学习和强化学习，这是从训练样本的歧义性（ambiguity）来进行分类的。对监督学习来说，它通过对具有概<br><br>念标记（concept&nbsp;label）的训练例进行学习，以尽可能正确地对训练集之外的示例的概<br><br>念标记进行预测。这里所有训练例的概念标记都是已知的，因此训练样本的歧义性最低。
    对非监督学习来说，它通过对没有概念标记的训练例进行学习，以发现训练例中隐藏的<br><br>结构性知识。这里的训练例的概念标记是不知道的，因此训练样本的歧义性最高。对强化<br><br>学习来说，它通过对没有概念标记、但与一个延迟奖赏或效用（可视为延迟的概念标记）<br><br>相关联的训练例进行学习，以获得某种从状态到行动的映射。这里本来没有概念标记的概<br><br>念，但延迟奖赏可被视为一种延迟概念标记，因此其训练样本的歧义性介于监督学习和非<br><br>监督学习之间。<br><br>&nbsp;&nbsp;&nbsp;需要注意的是，监督学习和非监督学习从一开始就是相对的，而强化学习在提出时并<br><br>没有从训练样本歧义性的角度考虑其与监督学习和非监督学习的区别，因此，一些早期的<br><br>研究中把强化学习视为一种特殊的非监督学习。事实上，对强化学习的定位到目前仍然是<br><br>有争议的，有的学者甚至认为它是与“从例子中学习”同一级别的概念。<br><br>&nbsp;&nbsp;&nbsp;从训练样本歧义性角度进行的分类体系，在近几年可望有一些扩展，例如多示例学习<br><br>（multi-instance&nbsp;learning）等从训练样本歧义性方面来看很特殊的新的学习框架有可能<br><br>会进入该体系。但到目前为止，没有任何新的框架得到了公认的地位。另外，半监督学习<br><br>（semi-supervised&nbsp;learning）也有一定希望，它的障碍是半监督学习中的歧义性并不是<br><br>与生俱来的，而是人为的，即用户期望用未标记的样本来辅助对已标记样本的学习。这与<br><br>监督学习、非监督学习、强化学习等天生的歧义性完全不同。半监督学习中人为的歧义性<br><br>在解决工程问题上是需要的、有用的（对大量样本进行标记的代价可能是极为昂贵的），<br><br>但可能不太会导致方法学或对学习问题视点的大的改变。<br><br>&nbsp;&nbsp;&nbsp;不同的分类体系是相交的，例如，监督学习方法既可能是迫切的（例如大多数神经网<br><br>络、决策树等），也可能是惰性的（例如k近邻等）。另外，分类体系也不是绝对的，例<br><br>如前面提到的强化学习的情况。&nbsp;&nbsp;&nbsp;&nbsp;<br></div>

 

转载于:https://my.oschina.net/u/3767735/blog/1835956