机器学习笔记【Day7】PRML基本概念

（本文为学习总结笔记，如有雷同请无视）

1 基本概念解读

1.1 有监督学习与无监督学习

1、有监督学习：
从给定的训练数据集中学习出一个函数（模型参数），当新的数据到来时，可以根据这个函数预测结果。
监督学习的训练集要求包括输入输出，也可以说是特征和目标。训练集中的目标是由人标注的。
监督学习就是最常见的分类（注意和聚类区分）问题，通过已有的训练样本（即已知数据及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优表示某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的。也就具有了对未知数据分类的能力。
监督学习的目标往往是让计算机去学习我们已经创建好的分类系统（模型）。

无监督学习：输入数据没有被标记，也没有确定的结果。
样本数据类别未知，需要根据样本间的相似性对样本集进行分类（聚类，clustering）试图使类内差距最小化，类间差距最大化。
通俗点将就是实际应用中，不少情况下无法预先知道样本的标签，也就是说没有训练样本对应的类别，因而只能从原先没有样本标签的样本集开始学习分类器设计。
非监督学习目标不是告诉计算机怎么做，而是让它（计算机）自己去学习怎样做事情。

1.2 特征提取与特征选择

1、特征提取：利用已有的特征计算出一个抽象程度更高的特征集，也指计算得到某个特征的算法。需要进行特征变换，改变向量空间

2、特征选择（及其重要性）：选择，保留原始特征意义

1.3 泛化能力

泛化能力：概括地说，泛化能力（generalization ability）是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据对背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。

1.4 分类、回归和聚类

1、分类：对于分类来说，在对数据集分类时，我们是知道这个数据集是有多少种类的。根据给定的数据集，训练出一个模式或者规则，对新来的数据进行类别判断。我们可以将分类看作是有监督的学习。

2、回归：
定量输出称为回归，或者说是连续变量预测；
定性输出称为分类，或者说是离散变量预测。

3、聚类：对于聚类来说，在对数据集操作时，我们是不知道该数据集包含多少类，我们要做的，是将数据集中相似的数据归纳在一起。比如对社交媒体中的人进行聚类，在聚类之前我们并不知道有多少个类别，我们可以通过他们之间的某一标准来度量他们之间的相似性，从而将相似的人群划分到一个组或者一个类中。我们可以把聚类看作是无监督的学习，因为数据的聚类类别是不知道的。

1.5 NFL

NFL（No Free Lunch Theorem）定理，经过推导后得出结论：无论算法多聪明或笨拙，它们的期望性能是相同的。不要气馁，因为NFL定理有一个重要前提：所有“问题”出现的机会或所有问题同等重要。但实际情况是，很多时候我们只关注自己正试图解决的问题，希望找到一个解决方案。至于这个解决方案在别的问题甚至相似问题上是否为好方案，并不重要。

2 模式识别与机器学习研究内容的不同点

模式识别是机器学习的一个分支，致力于识别数据中的模式和规律性，尽管在某些情况下它被认为与机器学习几乎是同义词。–“模式识别”，维基百科，2016年10月8日检索。

然而，随着我们对这两个主题的介绍，我们要强调的是，尽管机器学习（ML）和模式识别（PR）是紧密相关的主题，但PR不是ML的分支； ML也不是PR的分支。

我们采用了模式识别的另一种定义：

模式识别领域涉及通过使用计算机算法自动发现数据中的规律性，并涉及使用这些规律性来采取行动，例如将数据分类为不同的类别。

模式识别与机器学习密切相关，其定义如下。

机器学习领域涉及如何构建随经验而自动改进的计算机程序的问题。
–“机器学习”，汤姆·米切尔（Tom Mitchell）

3 人工智能的层次

1.弱人工智能
　　目前所有的人工智能领域取得进展的都是在弱人工智能领域上。从服务机器人、车载与电视助手、智能客服以及图像处理等应用，又或是iPhone的语音助理Siri、百度的度秘、科大讯飞的“灵犀”、微软的小冰等。
　　2.强人工智能
　　强、弱的区别在于有没有意识，如果有意识、自我、创新思维即为强人工智能。
　　强人工智能，那种具有独立意志、具有情感认知能力的“强人工智能”到现在依然没有出现。目前的典型例子都是在电影里。然而，从弱人工智能进化到强人工智能也许是人工智能发展中最难的一个节点。
　　3.超人工智能
　　人工智能思想家NickBostrom为我们勾勒了这样一幅图景：它能够准确回答几乎所有困难问题的先知模式，能够执行任何高级指令的精灵模式和能执行开放式任务，而且拥有自由意志和自由活动能力的独立意识模式。