AI作业5—深度学习基础

1、人工智能、机器学习、深度学习之间的区别和联系

人工智能是指一种广义的概念，它是指计算机系统通过模拟人类智能的方式，实现了一些认知、感知、思考、决策、学习等方面的能力。

机器学习是实现人工智能的一种方法，它是通过利用算法和统计模型，让计算机系统从数据中学习和自适应地改进自己的性能和表现。

深度学习是机器学习的一种特殊形式，它是通过模拟神经网络的方式，实现了从数据中自动学习和识别特征的能力，从而实现了高度准确的分类、识别、预测等任务。

2、“神经网络”与“深度学习”的关系

神经网络是一种模拟人类神经系统的计算模型，深度学习则是利用深层神经网络进行机器学习的方法。深度学习是建立在神经网络基础上的，通过增加网络深度和参数量，实现对大规模、高维度数据的学习和处理。因此，深度学习是神经网络的一个分支和应用。

3、“深度学习”和“经典神经网络”有什么区别和联系

经典神经网络和深度学习都是利用神经元和神经网络进行模式识别和学习的人工智能算法，但在结构和实现方法上存在一些不同。

经典神经网络通常是指仅有一到两层的神经网络，例如最简单的感知器模型。经典神经网络的特点是结构简单、训练速度快，但其在处理较为复杂的问题时往往表现不佳。

而深度学习则是基于多层神经网络的模型，每层神经元都对输入数据进行一定的变换和处理，以实现更加复杂和抽象的特征表示和分类。深度学习的特点是可以从原始数据中自动学习和提取特征，处理能力更加强大，能够解决更加复杂的问题。同时，深度学习需要更多的数据和计算资源来训练模型。
因此，深度学习可以看作是经典神经网络的一种拓展和进化，它通过多层神经网络的结构和特殊的训练算法，实现了更加强大和高效的数据处理和学习能力。
 

4、神经元

神经元是组成神经系统的基本单元，负责接收和传递信息。它由细胞体、轴突和树突等部分组成，可以通过神经纤维与其他神经元相连，形成网络。

5、MP模型

MP模型是一种简单的神经网络模型，也称为感知机模型。它由两层神经元组成：输入层和输出层。输入层接收外部输入或其他神经元传递过来的信号，并将其通过加权求和后传递给输出层。输出层使用激活函数对输入信号进行非线性变换，最终输出二元分类结果。

6、单层感知机

单层感知机（Single-Layer Perceptron，SLP）是一种最简单的神经网络模型，也称为线性可分分类器。它由输入层和输出层组成，其中每个输入样本都与输出层中的一个神经元相连。

SLP的主要特点是它只有一个神经元层，且每个神经元仅有一个权重值和一个偏置项。SLP通过对输入信号进行加权求和，并将其传递给激活函数进行非线性变换后，生成二元分类结果。

SLP通常使用sigmoid函数作为激活函数，其输出结果在[0,1]之间，可以看作是一个概率值。SLP通过反向传播算法来训练网络参数，即通过计算损失函数在权重和偏置项上的导数，并将其传递给前面的每一层，以更新每个神经元的参数。

虽然SLP具有结构简单、易于理解和实现的优点，但由于其不能处理非线性可分问题，限制了其在实际应用中的使用。因此，后续的神经网络模型，如多层感知机（MLP）和卷积神经网络（CNN）等在SLP的基础上不断发展和改进，成为更为强大和灵活的模型。
 

7、异或问题

异或问题是指对于一组二元输入X和相应的输出Y，其中输入X仅由0和1组成，而输出Y的取值仅有0和1两种可能。这些输入和输出之间的关系可以表示为一个异或逻辑表达式，即当输入X中只有一个1时，输出Y为1，否则输出Y为0。

在神经网络领域中，异或问题被广泛应用于测试神经网络模型是否具有解决非线性可分问题的能力。由于异或问题不能通过单层感知机（SLP）进行线性分类，因此需要使用多层感知机（MLP）等更为复杂的神经网络模型来处理。

解决异或问题的方式是通过增加网络深度和复杂度，引入非线性变换，使得神经网络具有更强的表达能力和适应性。例如，可以使用带有隐层的MLP来解决异或问题，隐层可以增加网络的复杂度，引入非线性变换，从而使得神经网络可以学习到非线性的决策边界
 

8、多层感知机

多层感知机（Multilayer Perceptron，MLP）是一种基于前馈神经网络的机器学习算法，也称为深度前馈网络。它由多个神经元层组成，通常包含输入层、若干个隐藏层和输出层。

9、前馈神经网络
前馈神经网络（Feedforward Neural Network）是一种最基本的神经网络模型，也被称为前向神经网络。它是一种单向的、层次化的神经网络结构，输入数据在从输入层传递到输出层的过程中，不会出现循环或反馈。
前馈神经网络由多个神经元组成，每个神经元接收一些输入，并产生一个输出。输入是神经元的加权和，通过一个激活函数进行非线性变换。输出被传递到下一层神经元中，直到达到输出层为止。
 

10、激活函数的概念

在神经网络中，激活函数是一种数学函数，它被用来将神经元的输入转换为输出。激活函数通常是非线性的，这使得神经网络可以学习非线性的关系，从而提高其表达能力。
激活函数通常作用于每个神经元的加权和，也称为激活值。激活函数的输出通常被用作下一层神经元的输入，或者作为输出层的最终输出

11、为什么要使用激活函数？

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。
 

12、常用激活函数有哪些？

常用的激活函数：sigmoid，Tanh，ReLU，Leaky ReLU，PReLU，ELU，Maxout，selu

13、均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

均方误差（Mean Squared Error，MSE）损失函数适合于回归问题，交叉熵（Cross Entropy）损失函数适合于分类问题。

在回归问题中，目标是预测连续的数值型输出，常常使用均方误差损失函数来衡量模型预测结果和真实值之间的误差。MSE优化的目标是最小化其预测值与真实值之间的平方误差，因此对于回归问题较为合适。

在分类问题中，目标是将输入样本正确地分配到各个类别中，常常使用交叉熵损失函数来衡量模型预测结果的准确度。交叉熵损失函数可以惩罚分类器对错误类别的预测概率，因此对于分类问题较为合适。

总体而言，这两种损失函数都是广泛应用的损失函数，但适用于不同类型的问题。其中，均方误差损失函数强调预测值与真实值之间的距离，适用于回归问题；交叉熵损失函数则强调分类器对正确类别的预测概率，适用于分类问题。