阿里云天池

epoch

当一个完整的数据集通过了神经网络一次并且返回了一次，这个过程称为一次epoch。即所有训练样本在神经网络中都进行了一次正向传播和一次反向传播。一个epoch是将所有训练样本训练一次的过程。

batch

将整个训练样本分成若干个batch。每个batch中包含一部分训练样本，每次送入网络中进行训练的是一个batch。

一个batch中的数据量大小即为batch size，一般为2n。

batch size

每个batch中训练样本的数量。batch size的大小影响模型的优化程度和速度，以及内存的利用率和容量。

one-hot 编码

为每个分类特征的每个可能值创建一个新的二进制特征（即“独热”特征），其中只有一个特征在任何给定时间被激活（标记为1），而其他所有特征都被标记为0。

①确定动物类别
确定需要分类的动物类别。在这个例子中，我们有三种动物：猫、狗、鸟。

②创建二进制特征向量
每个唯一的分类值都被赋予一个唯一的二进制向量，也被称为“独热”向量，因为在这个向量中，只有一个位置的元素是1（表示该类别的存在），其余所有位置的元素都是0。为每个动物类别创建一个二进制特征向量。向量的长度等于动物类别的数量，即在这个例子中是3。

③对动物进行独热编码
根据每个动物的类别，将其转换为对应的独热编码表示。在这个例子中，猫的编码是 [1, 0, 0]，狗的编码是 [0, 1, 0]，鸟的编码是 [0, 0, 1]。

pet	cat	dog	bird
cat	1	0	0
dog	0	1	0
bird	0	0	1

归一化

归一化的目的就是使得预处理的数据被限定在一定的范围内（比如[0,1]或者[-1,1]），从而消除奇异样本数据导致的不良影响。

1、Min-max normalization(Rescaling)：

归一化后的数据范围为[0,1]，其中min(x)、max(x)分别求样本数据的最小值和最大值。

2、Mean normalization：

归一化后的数据范围为[-1, 1]，其中mean(x) 为样本数据的平均值。

3、Z-score normalization(Standardization)：

归一化后的数据范围为实数集，其中μ、σ分别为样本数据的均值和标准差。

MSELoss（Mean Squared Error Loss）MSELoss均方误差损失函数

对于一个样本，假设预测值为y1，真实值为y2，则均方误差为(y1-y2)的平方。对所有样本进行求和并取平均，即得到均方误差损失值。

其中，n是样本数量，yi1是第 i 个样本的真实值，yi2是第 i 个样本的预测值。

梯度下降 

梯度下降是一种优化算法，用于最小化一个损失函数。它通过沿着损失函数的负梯度方向迭代来更新模型参数，从而使损失函数不断减小。

优化器（optimizer）

在深度学习中，优化器是一种用于调整神经网络模型参数以最小化损失函数的算法。优化器的目标是根据输入数据和期望的输出标签来调整模型的权重和偏置，使得模型能够更好地拟合训练数据并在未见过的数据上表现良好。

激活函数 ReLU（Rectified Linear Unit）

ReLU激活函数是一种常用的非线性激活函数，其原理是在输入小于等于零时输出为零，在输入大于零时输出等于输入值。ReLU激活函数的作用是引入非线性变换，使得神经网络可以学习更复杂的模式和特征。它的主要优点是计算简单、不存在梯度消失问题，并且能够加速收敛和提高模型的泛化能力。

ReLU激活函数的数学表达式：f(x)=max(0,x)

f(x)表示ReLU激活函数的输出，x表示输入值，max(0,x)表示取输入值和零之间的较大值。