AI作业5 深度学习基础

• 人工智能、机器学习、深度学习之间的关系

 

• 神经网络与深度学习的关系

神经网络是一种模拟人类神经系统的计算模型，深度学习则是利用深层神经网络进行机器学习的方法。深度学习是建立在神经网络基础上的，通过增加网络深度和参数量，实现对大规模、高维度数据的学习和处理。因此，深度学习是神经网络的一个分支和应用。

• “深度学习”和“传统浅层学习”的区别和联系

深度学习和传统浅层学习的主要区别在于网络深度和参数量的增加。深度学习通过增加网络深度和参数量，可以处理更为复杂、高维度的数据，并能够自动提取特征和表达数据，从而实现较好的识别和分类效果。

相比之下，传统浅层学习方法（如逻辑回归、支持向量机等）仅能处理少量特征，并且需要手动设定特征和模型，对于复杂的数据表达和模式识别能力有限。

此外，深度学习还可将多个神经网络结合起来形成网络融合的方法，如卷积神经网络、循环神经网络、生成对抗网络等，能更好地处理具有时空关系、语义信息的数据。

然而，深度学习也存在着需要大规模数据和计算资源的问题，同时由于其黑盒性质，对于结果的解释和可解释性存在一定难度。

因此，深度学习和传统浅层学习方法各有优劣，在具体应用中需根据数据特点、任务要求和可用资源等方面进行选择和权衡。

• 神经元、人工神经元

神经元是组成神经系统的基本单元，负责接收和传递信息。它由细胞体、轴突和树突等部分组成，可以通过神经纤维与其他神经元相连，形成网络。

人工神经元是一种模拟生物神经元的数学模型，用于构建人工神经网络。它通常由输入权重、偏置项、激活函数等参数组成，能够接收输入信号并进行计算和转换，然后将输出信号传递给下一层神经元或输出层。

人工神经元类似于生物神经元，但其实现方式更为简洁和规范化，便于计算机程序的实现和优化。在神经网络中，人工神经元构成了不同层次的网络结构，通过训练其参数来完成各种任务，如分类、回归、生成等

• MP模型

MP模型是一种简单的神经网络模型，也称为感知机模型。它由两层神经元组成：输入层和输出层。输入层接收外部输入或其他神经元传递过来的信号，并将其通过加权求和后传递给输出层。输出层使用激活函数对输入信号进行非线性变换，最终输出二元分类结果。

MP模型通常用于解决二分类问题，如图像识别、文本分类等任务。它的参数可以通过梯度下降等算法进行训练，在训练过程中调整权重和偏置项，从而使得输出结果尽可能地接近真实标签。

虽然MP模型具有结构简单、易于理解和实现的优点，但由于其不能处理非线性可分问题，限制了其在实际应用中的使用。后续的神经网络模型，如多层感知机（MLP）和卷积神经网络（CNN）等在MP模型的基础上不断发展和改进，成为更为强大和灵活的模型。

• 单层感知机 SLP

单层感知机（Single-Layer Perceptron，SLP）是一种最简单的神经网络模型，也称为线性可分分类器。它由输入层和输出层组成，其中每个输入样本都与输出层中的一个神经元相连。

SLP的主要特点是它只有一个神经元层，且每个神经元仅有一个权重值和一个偏置项。SLP通过对输入信号进行加权求和，并将其传递给激活函数进行非线性变换后，生成二元分类结果。

SLP通常使用sigmoid函数作为激活函数，其输出结果在[0,1]之间，可以看作是一个概率值。SLP通过反向传播算法来训练网络参数，即通过计算损失函数在权重和偏置项上的导数，并将其传递给前面的每一层，以更新每个神经元的参数。

虽然SLP具有结构简单、易于理解和实现的优点，但由于其不能处理非线性可分问题，限制了其在实际应用中的使用。因此，后续的神经网络模型，如多层感知机（MLP）和卷积神经网络（CNN）等在SLP的基础上不断发展和改进，成为更为强大和灵活的模型。

• 异或问题 XOR

异或问题是指对于一组二元输入X和相应的输出Y，其中输入X仅由0和1组成，而输出Y的取值仅有0和1两种可能。这些输入和输出之间的关系可以表示为一个异或逻辑表达式，即当输入X中只有一个1时，输出Y为1，否则输出Y为0。

在神经网络领域中，异或问题被广泛应用于测试神经网络模型是否具有解决非线性可分问题的能力。由于异或问题不能通过单层感知机（SLP）进行线性分类，因此需要使用多层感知机（MLP）等更为复杂的神经网络模型来处理。

解决异或问题的方式是通过增加网络深度和复杂度，引入非线性变换，使得神经网络具有更强的表达能力和适应性。例如，可以使用带有隐层的MLP来解决异或问题，隐层可以增加网络的复杂度，引入非线性变换，从而使得神经网络可以学习到非线性的决策边界。

总之，异或问题是神经网络中经典问题之一，其解决方式也是神经网络模型不断发展和改进的过程之一。

• 多层感知机 MLP

多层感知机（Multilayer Perceptron，MLP）是一种基于前馈神经网络的机器学习算法，也称为深度前馈网络。它由多个神经元层组成，通常包含输入层、若干个隐藏层和输出层。

MLP通过将每个神经元的加权输入与偏置项相加，然后经过非线性激活函数的变换，计算每个神经元的输出结果，并传递给下一层神经元。其中，隐藏层和输出层通常采用不同的激活函数，如ReLU、sigmoid、tanh等。

MLP的参数可以通过反向传播算法进行训练，即通过计算损失函数在权重和偏置项上的导数，并将其传递给前面的每一层，以更新每个神经元的参数。通过不断迭代调整参数，使得MLP的预测结果与真实值之间的误差尽可能小。

MLP具有强大的表达能力和适应性，可以解决各种分类、回归、序列预测等问题。同时，MLP的网络结构也可以根据实际需求进行设计和优化，如增加或减少隐藏层数量、改变激活函数等。

总之，MLP作为一种经典的神经网络模型，在机器学习和深度学习领域中得到了广泛的应用和发展。

• 前馈神经网络 FNN

前馈神经网络（Feedforward Neural Network，FNN）是一种最基本的神经网络模型，也称为多层感知机（Multilayer Perceptron，MLP）。它由输入层、若干个隐藏层和输出层组成，其中每层神经元与下一层神经元之间互相连接，但不存在反向连接。

在FNN中，输入信号从输入层进入，经过各个隐藏层的非线性变换后，最终产生输出结果。每个隐藏层通常采用相同的激活函数，如sigmoid函数或ReLU函数等。输出层的激活函数则根据不同的任务进行选择，如sigmoid函数适用于二分类问题，softmax函数适用于多分类问题等。

FNN通过反向传播算法来训练网络参数，即通过计算损失函数在权重和偏置项上的导数，并将其传递给前面的每一层，以更新每个神经元的参数。FNN在处理分类、回归、序列预测等任务上具有广泛应用，并且可以通过增加网络深度和复杂度来提高学习能力和表达能力。

• 激活函数 Activation Function

激活函数是神经网络中一种用于引入非线性变换的函数，通常被应用于每个神经元的输出。它对输入信号进行处理后输出一个新的值，作为下一层神经元的输入。

• 为什么要使用激活函数？

如果不用激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，输出都是输入的线性组合，这种情况就是最原始的感知机（Perceptron）。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后，无非还是个矩阵相乘罢了。

如果使用的话，激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，这样神经网络就可以应用到众多的非线性模型中。

• 常用激活函数有哪些？

常用的激活函数：sigmoid，Tanh，ReLU，Leaky ReLU，PReLU，ELU，Maxout，selu

• 均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

均方误差（Mean Squared Error，MSE）损失函数适合于回归问题，交叉熵（Cross Entropy）损失函数适合于分类问题。

在回归问题中，目标是预测连续的数值型输出，常常使用均方误差损失函数来衡量模型预测结果和真实值之间的误差。MSE优化的目标是最小化其预测值与真实值之间的平方误差，因此对于回归问题较为合适。

在分类问题中，目标是将输入样本正确地分配到各个类别中，常常使用交叉熵损失函数来衡量模型预测结果的准确度。交叉熵损失函数可以惩罚分类器对错误类别的预测概率，因此对于分类问题较为合适。

总体而言，这两种损失函数都是广泛应用的损失函数，但适用于不同类型的问题。其中，均方误差损失函数强调预测值与真实值之间的距离，适用于回归问题；交叉熵损失函数则强调分类器对正确类别的预测概率，适用于分类问题。