【22-23 春学期】AI作业5-深度学习基础

人工智能、机器学习、深度学习之间的关系

机器学习属于人工智能的分支之一，且处于核心地位。顾名思义，机器学习的研究旨在让计算机学会学习，能够模拟人类的学习行为，建立学习能力，实现识别和判断。机器学习使用算法来解析海量数据，从中找出规律，并完成学习，用学习出来的思维模型对真实事件做出决策和预测。这种方式也称为“训练”。

深度学习是机器学习的一种实现技术，在2006年被Hinton等人首次提出。深度学习遵循仿生学，源自神经元以及神经网络的研究，能够模仿人类神经网络传输和接收信号的方式，进而达到学习人类的思维方式的目的[2]。

简而言之，机器学习是一种实现人工智能的方法，深度学习是一种实现机器学习的技术，而生成对抗网络则是深度学习中的一种分类。它们之间的关系可以通过下图清晰地表示。

神经网络与深度学习的关系

深度学习是一种机器学习方法，它使用神经网络作为模型。神经网络是一种人工智能技术，它模仿人脑的神经元网络来处理信息。 神经网络由输入层、隐藏层和输出层组成，每层由许多神经元组成。 神经元之间通过权重相连，神经网络通过学习调整权重来处理输入信息并生成输出结果。

深度学习则是使用多层神经网络来进行机器学习的方法。这些多层神经网络被称为深度神经网络，因此这种方法被称为深度学习。深度学习可以用来解决许多机器学习问题，包括图像分类、语音识别和自然语言处理等。

总的来说，深度学习是一种机器学习方法，而神经网络则是深度学习的基础模型。

“深度学习”和“传统浅层学习”的区别和联系

深度学习与传统浅层学习最明显的区别是网络结构的深度和复杂程度。传统浅层学习使用的是浅而宽的网络结构，而深度学习则使用深而窄的网络结构。深度学习的优势在于其能够在数据集很大的情况下自动地提取关键特征，从而产生更准确的预测和更好的性能表现。另外，深度学习算法还拥有一些传统浅层学习无法实现的复杂特征学习和表示学习的能力。

然而，传统浅层学习算法的简单和可解释性使其更容易被理解和应用。此外，一些小型数据集上的任务，如某些分类和回归问题，传统浅层学习算法依然可以取得很好的表现。

总之，深度学习与传统浅层学习的选择应该基于具体问题，数据集大小和可解释性等考虑因素。

神经元、人工神经元

神经元（Neuron）是构成神经系统的基本功能单位，是负责处理和传递信息的细胞。

人工神经元（Artificial Neuron）是基于生物神经元的结构和功能设计的计算单元。它是人工神经网络的基本单元之一。在人工神经网络中，人工神经元负责接收输入信号，并根据一定的规则进行加权和求和，然后通过一个激活函数获得输出结果。

常见的激活函数包括阈值函数、sigmoid函数、ReLU函数等等。人工神经元通过学习算法（如反向传播算法）来自适应地调整权重参数，从而实现对输入数据的准确分类和预测。

MP模型

M-P模型，其实是按照生物神经元的结构和工作原理构造出来的一个抽象和简化了的模型。
MP模型基于感知机（Perceptron），M-P模型通常用于二进制分类任务，并且只能处理线性可分的情况。

M-P模型中的神经元收到输入后，会对其加权求和，并根据该和是否超过一个阈值来输出0或1。随着训练数据的加入，不断更新权重和阈值，调整决策边界的位置。M-P模型的一个局限性是它无法解决非线性可分问题。

单层感知机 SLP

单层感知机是机器学习中最为基础的方法之一，也可以认为是一种最为简单的神经网络，其模型结构与逻辑回归是一致的，都是多个输入，乘以权值求和再加上偏置，再经过激活函数得到输出。

单层感知机与逻辑回归的主要不同在于激活函数与损失函数。在逻辑回归中，我们通常用sigmoid函数作为激活函数，而在单层感知机中激活函数为sign函数。由于单层感知机使用sign函数，结构较为简单，不像sigmoid 函数那样以一定概率对结果进行输出，所以单层感知机效果与逻辑回归相比较差，泛化能力很差。逻辑回归的损失函数通常选用交叉熵损失函数，也可以选用均方差损失函数，而单层感知机则是基于误分类点到超平面的距离总和来构造损失函数。

逻辑回归与单层感知机用途相同，都可以用来解决二分类问题。

异或问题 XOR

异或问题是一个经典的分类问题，它是指寻找两个输入二进制数的异或值的分类问题。具体地，给定一组由 0 和 1 组成的二进制数对 $(x_1,y_1),(x_2,y_2),\dots ,(x_n,y_n)$，其中 $y_i=x_{i1}\oplus x_{i2}$，现在需要训练一个分类器来判断新的二进制数对属于哪个类别，其中类别可以是 0 或 1。这个问题的挑战在于，异或函数是非线性的，无法用单一的神经元来表达，而传统的分类算法（如逻辑回归）在这种情况下无法得到很好的结果。

解决异或问题的一种方法是使用多层感知机（MLP）。使用 MLP 可以构建一个拥有一个或多个隐藏层的神经网络，我们可以在隐藏层中使用非线性的激活函数（如 sigmoid 函数或 ReLU 函数）来代替线性函数，从而有效地解决了问题。通过在隐藏层中添加足够数量的神经元，可以学习所有可能的输入组合，并对新的二进制数对进行准确的分类。

多层感知机 MLP

多层感知机（MLP，Multilayer Perceptron）是一种经典的前向人工神经网络模型，也是深度学习中最基本的架构之一。它由一个输入层、一个或多个隐藏层和一个输出层组成，每一层都由多个神经元组成，跟 M-P 模型相比，其网络结构更加复杂。

MLP 通过前向传递输入数据，每一层的神经元对输入数据进行线性加权和加偏置处理，然后将结果输入到激活函数中进行非线性变换，产生下一层的输出，通过多次计算后得到最终的输出结果，即神经网络的预测结果。

常见的激活函数包括 sigmoid 函数、ReLU 函数、tanh 函数等。使用梯度下降等优化算法来更新神经网络的权重参数，通过训练样本得到最优的参数，使得神经网络在测试数据上具有更好的泛化性能。

由于 MLP 具有良好的分解特性，其在多种任务，如分类和回归等领域都得到了广泛应用。同时，MLP 也是许多深度学习模型的基石，许多模型，如 CNN、RNN 等，都是基于 MLP 进行扩展和改进构建的。

前馈神经网络 FNN

馈神经网络是一种最简单的神经网络，各神经元分层排列（其中每一层包含若干个神经元）。每个神经元只与前一层的神经元相连，接收前一层的输出，并输出给下一层，各层间没有反馈。是目前应用最广泛、发展最迅速的人工神经网络之一。第0层叫输入层，最后一层叫输出层，其他中间层叫做隐含层（或隐藏层、隐层）。隐层可以是一层，也可以是多层，是由全连接层堆叠而成。

激活函数 Activation Function

激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。
激活函数应具有以下性质
可微性： 当优化方法是基于梯度的时候，这个性质是必须的。
单调性： 当激活函数是单调的时候，单层网络能够保证是凸函数。
输出值的范围： 当激活函数输出值是 有限 的时候，基于梯度的优化方法会更加 稳定，因为特征的表示受有限权值的影响更显著;当激活函数的输出是 无限 的时候，模型的训练会更加高效，不过在这种情况小，一般需要更小的learning rate

为什么要使用激活函数？

激活函数是用来加入非线性因素的，解决线性模型所不能解决的问题

常用激活函数有哪些？

• 饱和激活函数
  Sigmoid、Tanh
• 非饱和激活函数
  以ReLU、ReLU6及变体P-R-Leaky、ELU、Swish、Mish、Maxout、hard-sigmoid、hard-swish为主

均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？

均方误差和交叉熵损失函数常常应用于不同的任务，均方误差适用于回归任务，而交叉熵损失函数适用于分类任务。

• 均方误差（Mean Squared
  Error，MSE）：均方误差指的是预测值和真实值之间的差距平方的平均值。用于回归问题时，在考虑误差大小时，MSE更加重视较大误差，对异常值的敏感程度较高。由于回归任务的目标是预测数字或连续值，而MSE对于数字之间的差异更敏感，因此它更适合于回归任务。
• 交叉熵损失函数（Cross Entropy
  Loss）：交叉熵损失函数是指预测值和真实值之间的交叉熵，通常用于多分类任务。交叉熵损失函数适用于分类任务的原因是，分类问题的目标是将每个样本分配到它属于的类别，因此需要最大限度地减少分类错误。交叉熵是一个非负函数，当两个概率分布近似相等时，交叉熵达到最小值。