【22-23春】AI作业5

1. 人工智能是机器学习的一个子集，人工智能的应用包括机器学习。
   机器学习是人工智能的一个分支，机器学习最基本的做法是使用算法来解析数据、从中学习，然后对真实世界中的事件做出决策和预测。 
   深度学习是机器学习的一种实现技术，它能够模仿人类神经网络传输和接收信号的方式，进而达到学习人类的思维方式的目的。
2. 神经网络是深度学习的一种实现形式。神经网络可以看作是一种特殊的深度学习模型，它由一系列由神经元组成的层组成，每一层都有各自的特征，其中前面一层的输出为后面一层的输入。
   深度学习是一种机器学习算法，用于构建复杂的模型，它包括有神经网络、卷积神经网络、循环神经网络等多种模型结构。这些模型的优势在于可以根据历史数据学习输入与输出之间的关系，从而实现再生成和推理目标。
   神经网络是深度学习的基础，深度学习是神经网络的一般框架。神经网络是深度学习的有效工具，深度学习可以帮助模型调整参数。
3. 传统浅层学习和深度学习是两种不同但相关的人工智能技术。
   相同点：两者都是通过对数据进行学习，从而对输入的数据进行分类或预测；
   不同点：传统浅层学习只能处理单一维度的数据，而深度学习可以处理多维度的数据。
4. 神经元：人工神经网络是由一个个神经元组成的，神经元是人工神经网络中最基础的计算单元。神经元接受前一层的输入，经过处理会有一个输出。
   人工神经元：人工神经网络是从信息处理角度对人脑神经元网络进行抽象，本质是一种运算模型，由大量的节点（神经元）相互联接构成。人工神经网络是由大量处理单元互联组成的非线性、自适应信息处理系统，它是在现代神经科学研究成果的基础上提出的，试图通过模拟大脑神经网络处理、记忆信息的方式进行信息处理。
5. MP模型：MP神经元模型是一种用来模拟生物神经元行为的模型。由W. S. McCulloch和W. Pitts于1943年提出，是神经网络的起源。MP神经元模型基于二进制变量，其输入和输出只能是0或1。该模型具有多个输入，每个输入都有一个加权值，这些加权值决定了神经元是否被激活。如果神经元被激活，输出为1，否则为0。MP模型是计算能力极强的模型，能够实现逻辑运算和计算机基本操作。
6. 单层感知机 SLP：单层感知机SLP是一种最基本的神经网络结构，由输入层和输出层组成。输入层接收输入数据，经过加权计算后传递到输出层并输出结果。SLP的训练过程主要是通过误差反向传播算法来不断调整权重，使得网络在给定的数据集上能够更准确地预测输出结果。SLP的模型比较简单，适用于解决一些线性可分问题，对于复杂的非线性问题效果较差。
7. 异或问题 XOR：异或问题是一个经典的计算机科学问题，用于判断两个二进制数是否具有相同的值。是指当两个二进制数的对应位相同时，结果为0，对应位不同时，结果为1。例如，1 XOR 1 = 0， 1 XOR 0 = 1， 0 XOR 0 = 0。在计算机科学中，异或操作经常被用于加密、校验和、差错检测等方面。异或基准是一种更高效的判断方法，基本思想是，将两个数的每一位进行异或运算，然后将结果与另一个数进行与运算，如果结果为 0，则说明两个数相同，否则不同。这个过程可以不断重复，直到结果为 0，表明两个数相同。
8. 多层感知机 MLP：多层感知机MLP是一种前馈人工神经网络模型，用于处理分类和回归问题。MLP由很多个神经元组成，通过电极连接到输入节点和输出节点上。MLP可以自动学习，通过调整网络结构和神经元之间的连接权重，可以使模型更好地适应数据分布和特征。这个过程称为训练，可以通过反向传播算法实现。除了简单的二元分类问题，MLP还可以用于回归问题，例如预测连续数据的趋势。
9. 前馈神经网络 FNN：前馈神经网络FNN是一种最简单的神经网络类型，也是应用最广泛的人工神经网络之一。它的结构类似于前馈网络，但是每个神经元之间都有一个输入节点进行直接连接，没有反向传播的过程。优点是计算简单，易于实现，并且可以快速收敛到稳定的结果。缺点是容易产生过拟合，因为它不能进行反向传播，无法及时纠正错误。前馈神经网络通常用于二元分类问题，输出通常是一个概率值，表示每个样本属于每个类别的概率。
10. 激活函数 Activation Function：激活函数是在神经网络中用于将神经元的输入映射到输出的函数。神经网络中的每个神经元都有一个激活函数，这个函数将神经元接收到的所有信号相加，并将结果传递给下一层的神经元或输出层。激活函数的作用是给神经网络引入非线性因素，使其可以处理更加复杂的问题。常见的激活函数包括Sigmoid、ReLU、Tanh等。Sigmoid函数是最简单的激活函数，它将神经元的输出作为 1 或 0 进行输出，具有直线段的形状。Tanh函数类似于Sigmoid，但是输出值在 0 和 1 之间，具有曲线的形状。ReLU和LeakyReLU是两种不同类型的激活函数，它们都是正非线性函数，可以在一定程度上改变神经元的输出。
11. 为什么要使用激活函数？
    神经网络中使用激活函数的主要目的是用来引入非线性因素，增强神经网络的表达能力，提供网络的非线性建模能力。在最简单的感知机模型中，每个神经元的输出都是输入的线性函数，这意味着神经网络只能处理线性的数据和任务。在神经网络中，每一层的输出都需要经过一个转换函数，以将输入编码为更高维的表示。但是，如果没有激活函数，神经网络只能表达线性映射，多层神经网络也不能解决非线性的问题。因此，只有加入了激活函数之后，神经网络才具备了分层的非线性映射学习能力。
12. 常用激活函数有哪些？
    常见的激活函数包括Sigmoid、ReLU、Tanh等。Sigmoid函数是最简单的激活函数，它将神经元的输出作为 1 或 0 进行输出，具有直线段的形状。Tanh函数类似于Sigmoid，但是输出值在 0 和 1 之间，具有曲线的形状。ReLU和LeakyReLU是两种不同类型的激活函数，但都是正非线性函数，可以在一定程度上改变神经元的输出。
13. 均方误差和交叉熵损失函数，哪个适合于分类？哪个适合于回归？为什么？
    均方误差适合于回归问题，交叉熵损失函数适合于分类问题。均方误差是预测值与真实值的差平方的平均值，适用于连续变量的回归问题。交叉熵是评估分类问题中预测概率分布和真实概率分布之间的差异，适用于离散变量的分类问题。因为分类问题需要考虑分类的准确性，而回归问题需要考虑预测值与真实值的接近程度。