AI 作业 5-深度学习基础

1、 人工智能（Artificial Intelligence，AI）是一个更广泛的概念，指的是使机器具有智能并能够模拟人类智能的各种技术和方法。机器学习（Machine Learning，ML）是实现人工智能的一个分支，它通过使用数据和统计模型，让机器从中学习并提高性能。深度学习（Deep Learning，DL）则是机器学习的一种特殊类型，它使用多层神经网络模型进行学习和表示。

2、 神经网络是一种模仿生物神经网络的计算模型，它由多个神经元组成。深度学习是一种神经网络的特殊形式，它包含多个隐藏层，这些隐藏层可用于学习和提取更多高层次的特征。

3、 传统浅层学习通常指的是传统的机器学习方法，如支持向量机（SVM）、决策树、随机森林等，这些方法通常只包含少量的层次和特征表示，不具备深度学习中多层次特征表示和学习的能力。

4、 神经元是神经网络中的基本单元，模拟生物神经元的工作原理。人工神经元是神经网络模型中对神经元的抽象，它接收输入信号加权求和并通过激活函数进行非线性变换，最终输出结果。

5、MP模型（McCulloch-Pitts模型）是一种最早的神经网络模型，它模拟了生物神经元的工作过程。MP模型在输入和权重的基础上计算一个输出，并应用了阈值函数进行二元判断。

6、 单层感知机（Single Layer Perceptron，SLP）是一种最简单的神经网络模型，它由一个输入层和一个输出层组成，没有隐藏层。SLP仅适用于线性可分问题，如AND、OR等问题。

7、 异或问题（XOR）是一个简单的二分类问题，其中两类数据点无法用一个超平面进行线性分割。SLP无法解决该问题，因为该问题不是线性可分的。

8、 多层感知机（Multi-Layer Perceptron，MLP）是一种具有多个隐藏层的神经网络模型，它可以用于解决更复杂的非线性问题。由于多层的结构和非线性激活函数的引入，MLP可以进行更复杂的特征表示和学习。

9、 前馈神经网络（Feedforward Neural Network，FNN）是一种神经网络模型，其中信号从输入层流向输出层，没有任何循环或反馈连接。FNN是一种静态模型，其输出仅基于当前的输入。

10、 激活函数（Activation Function）是神经网络中对输入信号进行非线性变换的函数，它在神经元中引入了非线性性质，使得神经网络可以学习和表示更复杂的函数。激活函数在神经网络的每个层中都被应用。

11、 使用激活函数有几个主要原因：

引入非线性：激活函数通过引入非线性变换，使得神经网络可以模拟和表示更加复杂的函数关系。

非线性可分性：激活函数使得神经网络可以处理非线性可分问题，如XOR问题。

非线性响应：激活函数可以使神经元的输出响应具有不同的范围和幅度，进一步提高了神经网络的表达能力。

12、 常用的激活函数有：

Sigmoid函数：将输入压缩到0到1之间。

双曲正切函数（Tanh函数）：将输入压缩到-1到1之间。

ReLU函数（Rectified Linear Unit）：在输入大于0时返回该值，否则返回0，用于解决梯度消失问题。

Leaky ReLU函数：与ReLU类似，但是在输入小于0时有一个小的非零输出。

Softmax函数：将多个输入映射到一个概率分布。

13、

均方误差（Mean Squared Error，MSE）损失函数适合于回归问题，它衡量预测值与真实值之间的平方差。

交叉熵（Cross Entropy）损失函数适合于分类问题，特别是二分类问题，它衡量预测概率分布与真实标签之间的差异。

MSE损失函数常用于回归问题，因为它对预测值与真实值之间的差异敏感，并且可以用于最小化回归任务中的平均误差。交叉熵损失函数常用于分类问题，因为它可以衡量预测概率与实际标签之间的距离，并且在最小化分类误差时效果较好。

总的来说，损失函数的选择应根据具体问题的特点，在回归问题中选择均方误差损失函数，而在分类问题中选择交叉熵损失函数。