MLAPP————第一章 简介

 

个人说明：

本人是机器学习方向的小白一个，虽然多次暗下决心想要认真看完例如PRML，MLAPP这两本书，却都坚持不下去，往往都是看完前几章就顿感力不从心，每次遇到问题解决不了就会搁置。至今在机器学习方面都是零零散散的学，西瓜书，李航的统计学习方法，也都并没有看完。所以主要想通过此博客来勉励促进自己，希望自己能够一步一个脚印坚持走下去，不想半途而废。当然如果该博客能够给他人带来哪怕一丝丝的帮助，那么也算是意外收获。

文中必然存在很多错误的地方，毕竟博主水平比较次，所以希望如有大牛发现，能给出点评。博主在看书时可能会遇到很多的问题，也会在上面呈现，对于这些问题，如若有人能给出指点，将会不胜感谢。此外如有同时看此书志同道合之人，欢迎交流。

最后希望自己能够在机器学习这条路上坚持的走下去，不要因为一时的挫折而气馁！

 

第一章  介绍

1.1 什么是机器学习

我们当前处于一个大数据的背景下（big data），机器学习是能够自动处理大量数据的方法。我们定义机器学习为从数据中自动检测模式的一系列方法，利用学习到的模式对新的数据进行预测。Murphy的这本书是从概率论的角度对机器学习进行深入的分析。

1.11 机器学习的分类

机器学习总共分为三类：监督学习（supervised learning），无监督学习（unsupervised learning）和强化学习（reinforcement learning），该书主要介绍监督学习和无监督学习。

监督学习主要是从训练数据中学习输入到输出y的映射关系，也称之为预测（predictive）。我们一般称之为属性。当输出y是连续量是，此时问题称之为回归（regression），当输出y是离散量时，此时问题称之为分类（classification）。当我们的标记空间是有一些自然的顺序的，比如成绩A-F，此时归为传统的分类问题就不合适，因为没有利用A>B>C>D>E>F的特性，该类问题称为有序回归（ordinal regression）或有序分类（ordinal classification），这是一个介于回归和分类中间的一个问题。

无监督学习主要是从训练数据中发现一些有趣的模式。有时也叫做知识发现。在这里要注意的是，无监督学习的数据是没有标签的。比较常见典型的无监督学习问题是聚类。即给你一些离散的点，然后通过学习对这些点进行分类。

第三种学习则是强化学习，该学习方法是对你的行为进行奖赏或者惩罚，通过自我学习，争取获得更多的奖赏而不是惩罚。

1.2 监督学习的一些例子

下面会给出监督学习的一些常见的例子

1.2.1 分类

在分类的问题中，对于输入,输出，当C = 2，我们一般称为二元分类，C > 2那么就称为多元分类。当然还有多输出的模型。比如对于人来说，高矮，胖瘦，就会有两个输出。在该书中，不加特殊说明就认为是单输出的模型。

1.2.1.1 例子

如上图（a）,我们有一堆训练数据分成两类，左边是1即yes，右边的是0即no。这些数据有三个特征，分别是颜色，形状还有尺寸，如图(b)。那么根据以上的训练数据，如果给出下面的下个测试样例，蓝色的新月，黄色的圆环，蓝色的箭头，它们应该被分到哪一类。那么需要从训练数据中寻找一些模式，这个东西看着有点像公务员考试233。可以看到蓝色的全部被划分到了yes，那么我们有理由将蓝色的新月划分到yes。对于蓝色的箭头，但是我们又发现箭头都在no，那么很难抉择。黄色的圆环，也是很难选。当然这些都是给了一些直观上在做分类的感觉。

1.2.1.2 为什么需要进行概率预测

很好理解的一点就是，很多时候，没有办法进行直接对结果进行判决，例如上面黄色的圆环，很难说它属于哪一类，但是通过概率我们可以得到它属于每一类的概率，如果有C类的话，这是一个长度为C的向量。这个式子表示在训练数据为，输入特征为