NNDL作业一 初识

1.人工智能

定义：人工智能就是让机器具有人类的智能：“计算机控制”+“智能行为”。

个人理解：人工智能就是让机器去模仿人，让机器去做人可以做的事，甚至是人不能做的事。

2.机器学习

定义：机器学习是指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对位置数据进行预测的方法。

个人理解：机器学习就是对模型进行训练的过程。
首先给机器一些数据，通过人工提取特征，让机器来模仿人类思考、认知、决策和行动的过程，并给出结果，接着计算出该模型的错误率，然后再对某些参数进行优化，接着再通过数据计算错误率，如此循环，直到达到你想要的结果。

3.深度学习

定义：深度学习的概念源于人工神经网络的研究，含多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

个人理解：深度学习本质上是一个多层的神经网络。“深”体现在网络的隐含层数目之多。模型自动学习特征，经过不断的试错和调整，最终通过大量的训练和反复练习，来实现对数据的理解和处理。

4.人工智能、机器学习、深度学习三者之间的关系

人工智能目标是让机器像我们人类一样思考和行动，既包括增强我们人类脑力也包括增强我们体力的研究领域。
机器学习只是实现人工智能的手段之一，并且，机器只是增强我们人类脑力的方法之一，所以，人工智能包含机器学习。
深度学习只是机器学习的中神经网络这一分支，因此，机器学习包含了深度学习。

5.人工智能的流派

符号主义：又称为功能模拟学派，主要观点认为智能活动的基础是物理符号系统，思维过程是符号模式的处理过程。
主要成果：机器定理程序（LT、GTM、GPS …）、启发式算法、专家系统。
注重于数学可解释性

连接主义：又称为结构模拟学派，是基于神经网络及网络间的连接机制和学习算法的人工智能学派。主要观点认为大脑是一切智能活动的基础，因而从大脑神经元及其连接机制出发进行研究，渴望真正实现人类智能在机器上的模拟。
主要成果：人工神经网络、深度神经网络。
注重于仿人脑模型

行为主义：又称模拟学派、进化主义或控制论学派，认为智能行为的基础是“感知行为”的反应机制。基于智能控制系统的理论、方法和技术，研究拟人的智能控制行为。
主要成果：蚁群算法，粒子群算法，鱼群算法遗传算法，进化策略，进化规划、遗传规划。
注重于应用和身体模拟

6.特征工程

定义：特征工程是对数据进行人为处理，将原始数据转化成更好的表达问题本质的特征的过程，使得将这些特征运用到预测模型中能提高对不可见数据的模型预测精度。
比如原始数据可能非常多，但是对我们有用的数据可能就是其中的某几项，而其他项可能会影响我们的结果，此时我们就可以进行特征选择。或者比如我们想要在把数据放到算法中进行计算的时候，一些文本数据先要转换成数字类型的数据，这时候就需要进行one-hot编码，例如，实验二处理缺失值时就用到了这个独热编码，等等。所有这些在把数据输入算法之前做的事情，都可以统称为特征工程。

特征工程主要包括以下几个方面：

个人理解：首先要知道我们最终的目标，然后从数据中找出最能够实现我们目标的某些数据，然后通过各种方法对这些数据进行人为处理的过程就是特征工程。

特征工程的意义：
（1）更好的特征会有更强的鲁棒性（稳定性）。
（2）更好的特征只需用简单模型。
（3）更好的特征会有更准确的结果。

7.表示学习

定义：算法可以自动地学习出有效的特征，并提高最终机器学习模型的性能。
核心问题：“什么是一个好的表示？”；“如何学习到好的表示？”

“好的表示”没有明确的标准，但通常具有以下几个优点：
（1）应该具有很强的表示能力，即同样大小的向量可以表示更多信息。
（2）应该使后续的学习任务变得简单，即需要包含更高层的语义信息。
（3）应该具有一般性，是任务或领域独立的，即学到的表示可以比较容易迁移到其它任务上。

对于语义的表示可分为：局部表示与分布式表示。

局部表示:每个内存单元存储一个数据，向量高维稀疏；向量中每个分量对应一个数据，各个分量相互排斥。

分布式表示:多个内存单元共同表示一个数据，向量低维稠密；向量中每个分量单独没有意义，分量的组合才能表示具体数据。

相同维度的分布式表示相较于局部表示，能将输入空间划分的更加细致，针对更小的区域进行表示。
可参考下面两个图进行理解：

8.贡献度分配

定义：在深度学习中，贡献度分配问题（Credit Assignment Problem，简称CAP）指的是如何将最终系统输出结果的贡献或影响分配给系统中的每个组成部分或参数。
深度学习模型中的每个组成部分都会对输入数据进行加工处理，并进而影响后续的组件。当得到最终输出结果时，我们并不清楚每个组件的贡献是多少，这就是深度学习中的贡献度分配问题。

个人理解：贡献度分配就是神经元之间的连接权重。

解决贡献度分配问题的方法是使用梯度反向传播算法，将输出结果反向传播到每个组件，并根据每个组件的贡献大小来更新其参数。这种方法的优点是可以自动地确定每个组件的贡献度，并且可以自动地优化模型的参数，从而提高深度学习模型的预测准确率和泛化能力。

9.独热码

定义：独热码是一种将离散特征转换为二进制向量的方法。对于具有n个不同取值的特征，独热编码将其转换为一个长度为n的二进制向量，其中只有一个元素为1，其余元素为0。通过这种方式，每个取值都被表示为一个独立的维度，从而避免了不同取值之间的大小关系对模型的影响。

个人理解：独热码就是将离散的分类数据转化为只含0和1的数值型数据，且独热码的长度等于类别的数目，例如，上面举出的局部表示那个例子。

10.word2vec

定义：Word2Vec是一种用于将单词表示为向量的技术。它是一种基于神经网络的模型，用于学习单词的分布式表示。
传统的自然语言处理方法中，单词通常被表示为离散的符号，而Word2Vec通过将单词映射到连续的向量空间中，将单词的语义信息编码为向量。这种连续的向量表示可以捕捉到单词之间的语义和语法关系。
通过训练大规模的文本语料库，Word2Vec模型可以学习到单词之间的语义相似性和关联性。例如，通过计算两个单词向量之间的余弦相似度，可以衡量它们在语义上的相似程度。

个人理解：Word2Vec就是将单词转为向量，通过衡量向量之间的相似度，来衡量单词之间的相似度。

Word2Vec模型在自然语言处理任务中广泛应用，如文本分类、情感分析、机器翻译等。它提供了一种有效的方式来处理文本数据，并将其转换为计算机可以理解和处理的向量表示形式。

11.神经网络

定义：神经网络（Neural Network）是一种模拟人脑神经系统结构和功能的计算模型。它由大量的人工神经元（或称为节点）组成，这些神经元通过连接权重相互连接形成网络。
基本组成部分：神经元。每个神经元接收来自其他神经元的输入，并通过激活函数对这些输入进行加权求和，然后产生一个输出。这个输出可以作为其他神经元的输入，从而形成了神经网络的层次结构。

个人理解：神经网络通常由多个层组成，包括输入层、隐藏层和输出层。输入层接收原始数据作为输入，隐藏层用于处理输入数据并提取特征，输出层产生最终的预测结果。

12.端到端学习

定义：端到端学习（End-to-End Learning）是一种机器学习方法，它旨在通过将整个系统作为一个统一的模型进行训练和优化，从输入到输出直接进行学习，而无需手动设计中间步骤或特征工程。这种方法可以更好地适应复杂的任务和大规模数据，同时减少了人工错误和设计决策的影响。

传统的机器学习方法通常涉及多个阶段，包括数据预处理、特征提取/选择、模型训练和后处理等。这些阶段需要人工干预和专业知识来设计和优化。而端到端学习的目标是通过自动学习和优化来减少人工干预，从而简化整个学习过程。

个人理解：在端到端学习中，模型可以直接从原始输入数据开始学习，并输出最终的预测结果，而无需手动设计特征或进行复杂的数据预处理。