人工智能框架——学习笔记1

人工智能包含机器学习。机器学习又包含了深度学习。

机器学习和深度学习

我们将机器学习描述为实现人工智能的一种方式方法。机器学习是基于已有数据、知识或经验自动识别有意义的模式。最基本的机器学习使用算法解析和学习数据，然后在相似的环境里做出决定或预测。简言之，即基于数据学习并做决策。这样的描述将机器学习与传统软件或普通程序区分开来。
机器学习过程中，并没有人为指示机器学习系统如何对未知环境做出决策或预测，这一过程由机器学习中的算法从数据中习得，做出决策的主体是机器学习算法，并且决策或预测是非确定性的结果，一般以概率的形式输出，比如80%的可能性是晴天。
与之不同的是，常规的应用程序需要软件工程师一句句地编写代码（特定的指令集），指示程序或软件做出确定的行为，比如输出0和1分别表示注册成功和失败。做出决策的主体实际是人，程序只是执行动作的工具。正因如此，机器学习可归为间接编程，与之对应的是常规编程。

深度学习使用多层（一般多于5层）人工神经网络学习数据内部的复杂关系。
深度学习可被看作一种实现机器学习的技术，是机器学习的子集。与深度学习相对，过去那些只有单层或少层的神经网络被称为浅层学习。

人工智能框架

3. 机器学习

每个机器学习算法都有三个组成部分：
表示：如何表示知识。示例包括决策树（一种逻辑简单的机器学习算法）、规则集、实例、图形模型、神经网络、支持矢量机、模型合奏等。
评估：评估候选程序的方法（假设）。示例包括精度、预测和召回、方差、可能性、后概率、成本、边际、熵 k-L 背离等。
优化：候选程序的生成方式称为搜索过程。例如组合优化、凸优化、约束优化。所有机器学习算法都是这三个组件的组合。理解所有算法的框架。

机器学习又分为：

• 监督学习：（也称为归纳式学习）培训数据包括所需的输出。 通常用于有历史数据，来预测未来。
• 无监督学习：培训数据不包括所需的输出。示例是clustering聚类。很难说什么是好的学习，什么是不好的学习。 目标是探索数据，并找到一些结构内。 无监督学习在事务数据上效果良好。例如，它可以识别具有类似属性的客户段，然后在营销活动中可以对这些客户进行类似的处理。或者，它可以找到将客户群彼此分开的主要属性。
• 半监督学习：培训数据包括一些所需的输出。半监督学习用于与监督学习相同的应用。但它使用标记和未标记的数据进行培训 - 通常少量标记数据与大量的未标记数据（因为未标记数据成本更低，获取成本更低）。 这种类型的学习可以与分类，回归和预测等方法一起使用。当与标签相关的成本过高，无法进行完全标记的培训过程时，半监督学习是有用的。 早期的例子包括在网络摄像头上识别一个人的脸。
• 强化学习：从一系列行动中获得回馈。像它这样的人工智能类型，它是最雄心勃勃的学习类型。通常用于机器人、游戏和导航。 通过强化学习，该算法通过反复试验发现哪些操作能产生最大的回报。 这种类型的学习有三个主要组成部分：代理（学习者或决策者）、环境（代理与之交互的一切）和操作（代理可以做什么）。 目标是让代理选择在给定时间内最大化预期回报的操作。代理将通过遵循良好的策略更快地达到目标。因此，强化学习的目标是学习最好的策略。
• 

可以把强化学习看成是一种通过环境内部产生样本（特征和标签的匹配对）的监督学习。
监督学习和无监督学习很好区分：是否有监督（supervised），就看输入数据是否有标签（label），输入数据有标签，则为有监督学习，没标签则为无监督学习。

监督学习的数据都是有确定标注的；
半监督学习使用 “有标签数据+无标签数据” 混合成的数据；
半监督聚类里数据即使有标签，也都是不是确定性的，举个例子，标签可能是 “不是 C 类”，或者是 “A、B 两类中的一类” 这种形式；
而无监督学习使用的数据完全是没有标签的。

机器学习vs深度学习

机器学习是使用统计模型，目标是了解数据的结构 —— 将理论分布与被很好地理解的数据相适应。因此，对于统计模型，该模型背后有一个经过数学验证的理论，但这要求数据也符合某些强烈的假设。 机器学习的发展是基于使用计算机来探测结构数据的能力，即使我们没有关于该结构外观的理论。
机器学习模型的测试是新数据上的验证错误a validation error ，而不是证明空假设的理论测试。
由于机器学习通常使用迭次方法从数据中学习，因此学习很容易实现自动化。通过数据运行，直到找到强大的模式。

深度学习结合了计算能力的进步和特殊类型的神经网络，以学习大量数据中的复杂模式。 深度学习技术是目前识别图像中的对象和声音中的单词最先进的技术。 研究人员现在正寻求将这些成功应用于模式识别中，以完成更复杂的任务，如自动语言翻译、医学诊断以及许多其他重要的社会和商业问题。

监督学习/归纳学习

归纳学习，也称为发现学习，是一个学习者通过观察示例发现规则的过程。这不同于演绎学习，在演绎学习中，学生被赋予了他们随后需要应用的规则。

不管是分类，还是回归，其本质是一样的，都是对输入做出预测，并且都是监督学习。说白了，就是根据特征，分析输入的内容，判断它的类别，或者预测其值。

分类：当所学的func是离散的。
回归：当所学的func是连续的。
概率估计：当func输出为概率时。

监督学习的框架

• 术语
• 机器学习中的关键问题
• 对于选择假设空间的关注（大小：从随机性中选择的，假设数量：随机性或决定性，参数：参数的数量和类型
  ）
• 属性，您可以根据这些属性选择算法

Performance Evaluation:

• 随机将示例拆分为训练集U和测试集 V. 使用U学习的假设 H. 测量V正确分类H的百分比. 重复不同的随机拆分和平均结果。
• Learning Curves
• ROC Curves

受试者工作特征曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。

• Accuracy/Coverage
• 混淆矩阵