深度学习作业一

简答（1.写出定义，2.描述自己对定义的理解）

1. 人工智能

定义：是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。

理解：人工智能就是让机器具有人的智能。就是通过复制人的行为来实现机器的智能。

     2. 机器学习

定义：从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。

理解：机器学习主要解决两种问题，即分类和回归。机器学习是在给出的数据中通过分类和回归预测出数据。

     3. 深度学习

定义：通过构建具有一定深度的模型，并通过学习算法来让模型自动学习出好的特征（从底层特征，到中层特征，再到高层特征）表示，从而提升预测模型的准确率。

理解：是神经网络技术的一种，是使机器自动学习特征，得出预测结果的学习。比机器学习的准确率更高。

    4.  人工智能、机器学习、深度学习三者之间的关系

深度学习是机器学习的一个分支，机器学习是人工智能的一个分支。机器学习需要人工设计模型进行预测。而深度学习不需要设计模型，由机器自动学习模型并得出结果。

    5.  人工智能的流派

①符号主义：又称逻辑主义，心理学派或计算机学派，是指分析人类智能的功能，然后通过计算机来实现这些功能的一类方法。在推理期与知识期比较流行，可解释性强。其思想为信息可用符号表示，而符号可通过显示规则来操作。

②连接主义：又称仿生学派或生理学派，是认知科学中的一类信息处理的方法和理论。连接主义认为人类的认知过程是由大量简单神经元构成的神经网络中的信息处理的过程，而不是符号运算。

③行为主义，又称进化主义或控制论学派，是一种基于“感知——行动”的行为智能模拟方法，思想来源是进化论和控制论。其原理为控制论以及感知——动作型控制系统。

    6. 特征工程

定义：特征工程是将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。

理解：特征是机器学习系统的原材料，特征工程主要有三个主要阶段，1、特征清洗、数据清洗。2、特征处理、数据处理。3、特征选择。特征工程更多地关注于神经网络的输入层，通过神经网络自动地学习和提取特征。深度学习特征工程的目标是找到最能描述数据的特征，以提高模型的性能和泛化能力。

    7. 表示学习

定义：表示学习是指一种能自动学习有效特征的学习方式，它能提高最终机器学习模型的性能。要学习到一种好的高层语义表示（一般为分布式表示），通常需要从底层特征开始，经过多步非线性转换才能得到。

理解：是学习一个特征的技术的集合：将原始数据转换成为能够被机器学习来有效开发的一种形式。表示学习就是将原始数据转换成为能够被机器学习来有效开发的一种形式。

    8. 贡献度分配

定义：一个系统中不同的组件或其参数对最终系统输出结果的贡献或影响。它关系到对参数的学习。

理解：一种可以比较好解决贡献度分配问题的模型是神经网络。神经网络和深度学习并不等价。深度学习可以采用神经网络模型，也可以采用其它模型（比如深度信念网络是一种概率图模型）。但是由于神经网络模型可以比较容易地解决贡献度分配问题，因此神经网络模型成为深度学习中主要采用的模型。

    9. 独热码

定义：是用来表示离散变量（categorical data）的一种方法。在机器学习和深度学习中经常会使用独热编码来将离散变量转换为多维向量，以便于算法处理。

理解：又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

   10. word2vec

定义：是一种基于神经网络的语言模型，也是一种词汇表征方法。word2vec包括两种结构：skip-gram（跳字模型）和CBOW（连续词袋模型），但本质上都是一种词汇降维的操作。

理解：其实就是简单化的神经网络。既然是神经网络，那么就有对应的输入层，隐层与输出层。输入就是上边提到的One-Hot Vector，隐层没有激活函数，只是线性的单元。输出层维度跟输入层一样，用的是Softmax回归。当这个模型训练好以后，我们并不会用这个训练好的模型处理新的任务，我们真正需要的是这个模型通过训练数据所学得的参数，例如隐层的权重矩阵。

   11. 神经网络

定义：是一种模仿生物神经网络(动物的中枢神经系统，特别是大脑)的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络是一种有监督的机器学习算法，广泛地应用于分类预测、图像识别等领域。

理解：即我们通常所说的神经网络，是参考人脑神经系统而来的。它可以看作是个通用的函数逼近器，一个两层的神经网络可以逼近任意的函数。理论上，只要有足够的训练数据和神经元数量，人工神经网络就可以学到很多复杂的函数。

   12. 端到端学习

定义：在学习过程中不进行分模块或分阶段的训练，直接优化任务的总体目标。

理解：端到端指的是输入是原始数据，输出是最后的结果，原来输入端不是直接的原始数据，而是在原始数据中提取的特征，这一点在图像问题上尤为突出，因为图像像素数太多，数据维度高，会产生维度灾难，所以原来一个思路是手工提取图像的一些关键特征，这实际就是就一个降维的过程。