NNDL 作业1 简述深度学习中定义

简答（1.写出定义    2.描述自己对定义的理解）

1.人工智能 

答：

定义：人工智能就是机器的智能化，主要领域大体为感知、学习、认知。

 理解：使得机器实现智能化，1950年推出了‘图灵测试’，即判断是人还是机器，计算机通过图灵测试，对现实生活中的事物进行理解语言、具备学习的能力、推理并决策等，判断一个瓜的好坏等这种生活也可以在计算机中进行判断，表现出人的能力。

2.机器学习

答：

定义：机器学习是指从有限的观测数据中学习（或者是‘猜测’）出一般的规律，并利用这些规律对未知数据进行预测的方法。

Tom Mitchell在1997年提出的“ETP定义”：A computer program is said to learn from experience E with respect to some task T and some performance measure P, if its performance on T, as measured by P, improves with experience E.

理解：

从经验中学习，通过解决任务，得到性能提升

（1）.从经验experience E中学习 比如数据集。

机器学习对数据集预处理，提取有效数据（特征值），进行加工然后学习函数并进行预测

（2）.performance measure P  性能度量 

对于不同的模型，使用评价标准（准确率，错误率，精确率（也叫精度、查准率）、召回率（查全率））进行对比。

（3）.task T

任务，识别等等

从数据学习模型过程叫做“学习”或“训练”，预测得到逼近真实数据，机器学习的核心是映射

3.深度学习

答;

定义：深度学习是将原始的数据特征通过多步的特征转换得到一种特征表示，并进一步输入到预测函数得到最终结果。目的是从数据中自动学习到有效的特征表示，解决的关键问题是贡献度分配问题（参数对最终系统输出结果的贡献或者是影响）

理解：学习一种好的表示（将输入的信息转为有效的特征，提高性能），构建更加有深度的模型，学习深度模型是深度学习，多次的特征转换（升维和降维等），底层特征到中层特征再到高层特征，最后进行预测，学得更有深度(原始数据非线性特征转换的次数）模型，其中神经网络模型深度逐渐增加，早期的5-10层到更多的层数。

4.人工智能、机器学习、深度学习三者之间的关系

深度学习是一类机器学习的问题。

5.人工智能的流派

（1）符号主义

又称逻辑主义、心理学派或计算机学派，通过分析人类智能的功能，用计算机实现

（2）连接主义

又称仿生学派或生理学派，信息处理的方法和理论，神经元构成的神经网络的信息处理的过程

6.特征工程

答：

定义：特征工程是从原始数据中提取特征并将其转换为适合机器学习模型的格式。

理解：特征工程就是在机器学习算法之前，描述数据（可视化），识别，清洗，生成新的特征数据，再进行特征选择，选择符合条件的进行学习。将杂乱无章的数据进行一系列转变来有序，有效的数据集。

7.表示学习

定义：可以自动的学习出有效的特征，并提高最终机器学习模型的性能的算法

解决的主要关键问题是语义鸿沟（输入数据的底层特征和高层语义信息之间的不一致性和差异性

语义鸿沟理解：比如人脸识别，每个人的形态等等各不相同，在像素表示上差异性也会很大，然而

预测模型在此建立，如果有好的表示反映出高层特征，就会相对容易

表示学习理解：更好表示高层特征的方法

（1）局部表示

以不同的名字命名不同颜色的表示方法，又称离散表示或符号表示    颜色增加，维度增加

优点：1.很好的解释性，人工归纳，总结特征，再通过特征组合进行高效的特征工程

           2.表示向量通常是稀疏的二值向量，线性模型效率高

不足：1.维数高

           2.有些特征相似度太过于接近

（2）分布式表示

用RGB值表示

优点：维度低，一般只需要三个维度

8.贡献度分配

定义：一个系统中不同的组件或者对最终系数输出结果的贡献或者影响

理解：比如人生选择道路中，因为不同选择所导致的不同的结果，哪几步导致成功，或者哪几步导致失败，判断每个选择的贡献度就是贡献度分配问题。

9.独热码

定义：有多少个状态就有多少比特，而且只有一个比特为1，其他全为0的一种码制。

理解：比如人工智能有两个班，编码为1，2，但是在训练过程权重会发生改变，影响结果，而独热码不是，只有0和1，不会影响结果。多个特征时候影响只增不减。

10.word2vec

定义：一群被用来产生词向量相关模型，包括跳字模型（预测上下文）和连续词袋模型（预测当前值）

理解：由浅到双层的神经网络，映射每个词到每个向量，简而言之就是重新构建文本

11.神经网络

定义：早期认为是人工神经网络，机器学习领域，神经网络由很多神经元构成的网络结构模型，神经元之间连接强度是可以学习的参数

（1）人脑神经网络

由生物发展而来，包括细胞体，细胞突起（树突，轴突）

（2）人工神经网络

定义：模拟人脑神经网络的而设计的一种计算模型，对数据之间复杂关系建模，赋予权重，代表一个节点对另一个影响大小，每个节点特定函数

（3）发展历史

一、1943，MP模型

1951，感知器

二、反向传播，新知机

三、hopfield网络、玻尔兹曼机、分布式并行处理、

四、支持向量机，统计学习理论

五、深层神经网络

12、端到端学习

定义：学习过程中不进行分模块或分阶段训练，直接优化任务的总体目标。不需要人为干预，不需要明确给出不同模块或阶段的功能。

理解：从表面上，不是多步骤操作的。数学上是梯度下降可微