【22-23 春学期】AI作业5-深度学习基础

1.人工智能、机器学习、深度学习之间的关系

人工智能是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学。机器学习：一种实现人工智能的方法。深度学习：一种实现机器学习的技术。

2.神经网络与深度学习的关系

       神经网络是深度学习的一种实现方式，也可以说深度学习是基于神经网络的一种机器学习方法。

3.深度学习”和“传统浅层学习”的区别和联系

传统浅层学习主要使用线性模型，如逻辑回归、支持向量机等，以及非线性模型，如决策树、随机森林等。这些模型通常只包含一个或几个隐藏层，参数数量较少，且训练速度较快。它们在小数据集上表现较好，可以解决许多简单的分类和回归问题。

深度学习则是一种更为复杂的机器学习方法，其模型通常包含多个隐藏层，每个隐藏层都有大量的神经元和参数。深度学习模型的学习能力更强，可以处理大量非结构化和高维度的数据，例如图像、音频、文本等。深度学习的训练时间通常比传统浅层学习要长，但在大规模数据集上的表现往往更好。

4.神经元、人工神经元

细胞体：细胞体由细胞核、细胞质和细胞膜等组成。

树突：树突是精致的管状延伸物，是细胞体向外延伸出的许多较短的分支，围浇细胞体形成灌木丛状，他们的作用是接受来自四面八方传入的神经冲击信自，相当于细泡的“输入端”，信息流从树突出发，经过细胞体，然后由轴突传出。

轴突：轴突是由细胞体向外冲出的最长的一条分支，形成一条通路，信号能经过此通路从细胞体长距离地传送到脑神经系统的其他部分，其相当于细胞的“输出端”。

突触：突触是神经元之间通过一个神经元的轴突末梢和其他神经元的细胞体或树突进行通信连接，这种连接相当于神经元之间的输入输出的接口。

人工神经元：对每个输入的信号进行处理以确定其强度（加权）；确定所有的输入信号的组合效果（求和）；确定其输出（转移特性）。它一般是一个多输入/单输出的非线性器件

5.MP模型

      按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。M-P模型中，一个神经元接收多个输入信号，然后根据这些信号的加权和，计算出一个输出值。这个输出值会经过一个阈值函数（也称为激活函数），最终决定神经元是否激活（输出1）或不激活（输出0）。M-P模型是一个二元逻辑模型，即输出只能是0或1。

6.单层感知机 SLP

       一种最简单的人工神经网络模型，它由一个输入层和一个输出层组成，其中输出层仅包含一个神经元。SLP主要用于二元分类问题，即将输入向量分为两个类别中的一个。

在SLP中，每个输入向量被表示为一个数值向量，其每个分量对应于输入层的一个神经元。输入向量通过权重向量进行线性变换，并加上一个偏置项，得到输出层的一个输入信号。输出层的神经元对这个信号进行非线性变换（通常采用sigmoid函数），产生一个标量输出，表示输入向量属于类别1的概率。

SLP的训练过程主要是通过随机梯度下降法来求解最佳的权重和偏置，以最小化分类错误率。在每次训练迭代中，SGD计算当前权重下的损失函数梯度，并根据梯度的反方向更新权重和偏置。当损失函数收敛时，模型训练完成。

7. 异或问题 XOR

       异或问题是指在分类问题中，当样本数据不可被线性分类时，无法使用单层感知机（SLP）解决。其中最著名的例子就是异或问题。异或运算的输出不具有线性可分性，即不能用一条直线将输入空间分为两部分。而SLP只能学习线性可分的模型，因此无法处理异或问题。

解决异或问题的方法之一是使用多层感知机（MLP）。MLP通过在输入层和输出层之间添加一个或多个中间层（也称为隐含层），增加了模型的非线性特征提取能力，从而能够学习非线性模型。通过调整中间层的大小和数量，MLP可以拟合各种非线性决策边界，从而解决了异或问题。

8. 多层感知机 MLP

多层感知机是一种基于人工神经网络的有向图模型，由输入层、隐藏层和输出层组成，其中隐藏层通常有多层。

与单层感知机只能解决线性可分问题不同，多层感知机可以解决非线性可分问题。在多层感知机中，输入层将输入的数据向量传递给下一层，隐藏层根据自身的权重和偏置将输入的数据进行非线性变换，并将结果传递给下一层，最终输出层根据隐藏层的输出计算出最终的输出结果。

多层感知机使用反向传播算法进行训练，该算法基于梯度下降法，通过计算预测值与实际值之间的误差，并将误差从输出层向输入层进行反向传播来调整模型参数，使得模型的预测结果更加准确。

9. 前馈神经网络 FNN

前馈神经网络（Feedforward Neural Network，简称 FNN），也称为前向神经网络或者前向反馈神经网络，是一种最常见的人工神经网络模型，其主要特点是信息传递是单向的，即从输入层到输出层的信息流动不形成环路，因此也被称为“前向”的神经网络。

在FNN中，输入层将输入的数据传递到隐藏层，隐藏层根据输入的数据计算出一组中间变量，然后将这些中间变量传递给输出层进行最终的输出。中间变量通常表示一种特征或者抽象的概念，这些中间变量的计算是由多个神经元相互作用得到的。

FNN可以包含多个隐藏层，并且每个隐藏层可以包含多个神经元，这样就可以构建非常深层的神经网络。FNN通常使用梯度下降法等算法来训练神经网络，通过调整神经元之间的连接权重和偏置，使得神经网络能够对输入数据进行准确的预测和分类。

10.激活函数 Activation Function

在神经网络中，激活函数（Activation Function）指的是对神经元输入进行非线性变换的函数。神经元接收来自上一层的输入信号，对它们进行加权求和，并加上一个偏置项，然后通过激活函数进行非线性变换，最终输出给下一层神经元或作为整个网络的输出。

激活函数的作用在于引入非线性特性，使得神经网络可以逼近任意复杂的函数关系。如果没有激活函数，多层神经网络就相当于单层线性神经网络，其表达能力非常有限。

常见的激活函数有sigmoid函数、ReLU函数、tanh函数等。sigmoid函数将输入值映射到[0,1]区间内，ReLU函数在输入为正数时输出该值，否则输出0，tanh函数将输入值映射到[-1,1]区间内。不同的激活函数具有不同的性质，选择合适的激活函数对于神经网络的训练和表达能力都有重要的影响。

11. 为什么要使用激活函数？

       使用激活函数的主要原因是增加神经网络的表达能力。如果没有激活函数，多层神经网络就只能表示线性关系，激活函数可以使得神经元的输出具有非线性特性，这样就可以更好地拟合非线性的函数关系。此外，激活函数还可以对输入信号进行归一化，使得输出值在一定范围内，这有助于网络的稳定性和收敛速度。

除了增加表达能力之外，激活函数还可以用来控制输出的范围和平滑度，对于不同的任务和网络结构，可以选择不同的激活函数来达到最佳效果。

12.常用激活函数有哪些？

 Sigmoid函数：

         Sigmoid函数可以将输入的任意实数值“压缩”到(0,1)的范围内，主要用于二分类问题和输出层的非线性映射。

Tanh函数

        Tanh函数可以将输入的任意实数值“压缩”到(-1,1)的范围内，也可以用于二分类问题和输出层的非线性映射。

ReLU函数

        ReLU函数在x>0时输出x，在x\leq 0时输出0，可以有效避免梯度消失问题，并且计算速度较快，因此在深度学习中广泛应用。

LeakyReLU函数

        RELU函数在x>0时输出x，在x\leq 0时输出一个较小的斜率a的直线，可以进一步避免ReLU函数在x\leq 0时出现的“死神经元”问题。

Softmax函数

        Softmax函数可以将k个输入转化为一个k维概率分布，主要用于多分类问题的输出层。

Swish函数

        Swish函数是一种近年来提出的新型激活函数，结合了ReLU和Sigmoid函数的优点，可以在某些场景下取得更好的效果。

13. 均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

       交叉熵损失函数适用于分类问题，均方误差适用于回归问题。

交叉熵损失函数在分类问题中通常比均方误差更受青睐。这是因为交叉熵可以将模型预测的概率分布与真实标签的概率分布进行比较，并且通过求导的方式进行优化，从而使模型的预测更加接近真实标签。另外，交叉熵还可以避免梯度消失的问题，使得模型在训练过程中更加稳定。

而均方误差则适用于回归问题，因为回归问题通常需要预测一个连续的值，而均方误差可以对模型的预测值和真实值之间的差异进行量化。此外，均方误差还具有良好的数学性质，使得在优化时更加方便。