20200701 第一章 绪论

人工智能

1.深度学习（机器学习） -------------人工智能
2.贡献度分配问题
3.人工神经网络
4.深度学习可以采用神经网络模型，也可以采用其他模型
5.人工智能
6.图灵测试
7.主要领域：
（1）感知：模拟人的感知能力——语音、图像
（2）学习：模拟人的学习能力——无监督、强化、监督
（3）认知：模拟人的认知能力——知识表示、自然语言理解、推理、规划、决策等。

发展历史

流派

（1）符号主义
a）信息可以用符号来表示
b）符号可以通过显式的规则来操作
（2）连接主义

机器学习

1.传统的机器学习：如何学习一个预测模型。
2.特征、浅层学习
浅层学习：不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。

特征提取：提取一些有效的特征。例如：边缘、尺度不变特征变换特征
特征转换：降维、升维。
降维：特征抽取、特征选择（主成分分析、线性判别分析）
升维：

========>很多机器学习问题变成了特征工程

表示学习

一个算法可以自动学习出有效的特征，并最终提高机器学习的模型性能——表示学习。
关键：！！！语义鸿沟：输入数据的底层信息和高层语义信息之间的不一致性和差异性。

重要问题！！！
1.什么是一个好的表示

• 很强的表示能力
• 使任务简化
• 泛化性

2.如何学习到好的表示

局部表示（离散表示、符号表示）

one-shot向量
1）解释性很好
2）通过多种特征组合得到的表示向量通常是稀疏的二值向量
缺点：
1）维数很高、不易扩展
2）无法分析相似性

分布式表示

稠密向量

考虑：使用神经网络将高维的局部表示空间映射到一个非常低维的分布式表示空间——嵌入
嵌入：将一个度量空间中的一些对象映射到另一个低维的度量空间中，并尽可能保持不同对象之间的拓扑关系。

深层结构的优点是可以增加特征的重用性，从而指数级地增加表示能力。

深度学习

为了学习一种表示——需要构建一定深度的模型，并通过学习算法来让模型自动学习出好的特征表示（底层->中层->高层），从而最终提高模型的准确率。
深度：原始数据进行非线性特征转换的次数。

与浅度学习不同，深度学习更需要解决的关键问题是贡献度分配问题，即不同的组件对输出结果的影响。

深度学习可以看作是一种强化学习每个内部组件不能直接获得监督信息，需要通过整个模型的最终监督信息（所谓的奖励）得到，并且有一定的延时
性。

end to end 训练

• 子模块训练
• 端到端训练

神经网络

赫布理论
长期记忆、短期记忆

网络容量

发展历史

MP模型
感知器：模拟人类感知能力的神经网络模型

本书知识体系