深度学习：算法到实践（一）绪论

1. 人工智能和机器学习概述

什么是人工智能？

使一部机器像人一样进行感知、认知、决策、执行的人工程序或系统

人工智能发展的标志性事件

人工智能发展阶段

人工智能的三个层面

计算智能：能存能算。
感知智能：能听会说、能看会认，类似于人的视觉、听觉、触觉等感知能力。
认知智能：能理解会思考，概念、意识、观念都是认知智能的表现。

人工智能和机器学习与深度学习的关系

人工智能是一个领域，就是一个目标，我们希望机器能像人一样的去感知、去思考，机器学习的是来实现这样一个目标的一类方法，而深度学习只是这一类方法中的很小的一个点。

知识工程 vs 机器学习

知识工程

• 根据专家定义的知识和经验，进行推理和判断，从而模拟人类专家的决策过程来解决问题。
• 基于手工设计规则建立专家系统
• 结果容易解释
• 系统构建费时费力
• 依赖专家主观经验，难以保证一致性和准确性

机器学习

• 可以使用决策树，支持向量机，深度学习的方法，通过数据自动学习的模型，模型内可以是if-then准则，也可以是深度学习中不可解释的规则，当输入一个文档时，自动的利用这些准则自动做出判断。
• 基于数据自动学习
• 减少人工复杂工作，但结果可能不易解释
• 提高信息处理的效率，且准确率较高
• 来源于真实数据，减少人工规则主观性，可信度高

机器学习的定义

机器学习：怎么学

模型分类

1.根据数据标记分类

监督学习模型

• 数据标记已知
• 目的在于学习输入
• 输出映射
• 从数据中学习标记分界面（输入-输出的映射函数），适用于预测数据标记

非监督学习模型

• 数据标记未知
• 目的在于发现数据中模式/有意义信息
• 从数据中学习模式，适用于描述数据

半监督学习

• 部分数据标记已知
• 监督学习和无监督学习的混合

强化学习

• 数据标记未知，但知道与输出目标相关的反馈（奖励反馈）
• 决策类问题

2.根据数据分布分类

参数模型：

• 对数据分布进行假设，待求解的数据模式/映射可以用一组有限且固定数目的参数进行刻画
• 如：线性回归，逻辑回归，感知机，k均值聚类
• 优点：数据需求少、训练快速
• 缺点：模型复杂度有限，与真实目标函数拟合度小

非参数模型

• 不对数据分布进行假设，数据的所有统计特性都来源于数据本身
• ​ 如：k近邻，svm，决策树，随机森林
• 优点：对数据适应性强，可拟合不同的函数形式
• 缺点：数据需求大、容易过拟合

3.根据建模对象分类：判别 vs 生成模型

2. 深度学习概述

深度学习三个助推剂：

数据、算法、计算力

深度学习的“不能”

  1.算法不稳定，容易被攻击；

  2.模型复杂度高，难以纠错和调试；

  3.模型层级复合程度高，参数不透明；

  4.端到端训练方式对数据依赖性强，模型增量性差；当样本数据量小的时候，深度学习无法体现强大拟合能力；深度学习可以进行语义标注和关系检测，但无法进一步完成图像描述；

  5.专注直观感知类问题，对开放性推理问题无能为力；

  6.人类知识无法有效引入进行监督，机器偏见难以避免

连接主义+符号主义