深度学习中一些专有名词的解释

**Epoch

**
一个epoch , 表示： 所有的数据送入网络中， 完成了一次前向计算 + 反向传播的过程。

由于一个epoch 常常太大， 分成 几个小的 baches .

将所有数据迭代训练一次是不够的， 需要反复多次才能拟合、收敛。

在实际训练时、 将所有数据分成多个batch ， 每次送入一部分数据。

使用单个epoch 更新权重 不够。

随着epoch 数量的增加， 权重更新迭代的次数增多， 曲线从最开始的不拟合状态， 进入优化拟合状态， 最终进入过拟合。

epoch 如何设置： 大小与数据集的多样化程度有关， 多样化程度越强， epoch 越大。

batchsize

每个batch 中： 训练样本的数量。

batch size 大小的选择也很重要， 最优化网络模型的性能+速度。

当数据量较小， 计算机可以承载只有1个batch 的训练方式时， 收敛效果会好。

mini-batch : 将所有数据分为若干个batch , 每个batch 包含一部分训练样本。。

iterations

完成一次epoch 需要的batch 个数

batch numbers 就是 iterations .

分为了多少个batch? : 数据总数/ batch_size

ablation studies（消融实验/研究）

在机器学习，特别是复杂的深度神经网络的背景下，已经采用“消融研究”来描述去除网络的某些部分的过程，以便更好地理解网络的行为。
你论文提了三个贡献点：A、B、C。

你去掉A，其它保持不变，发现效果降低了，那说明A确实有用。

你去掉B，其它保持不变，发现效果降的比A还多，说明B更重要。

你去掉C，其它保持不变，发现效果没变，那C就是凑字数的。

Dropout

Dropout是一种在学习的过程中随机删除神经元的方法，可用于抑制过拟合。
Dropout的实现

class Dropout:
	def __int__(self,dropout_ratio=0.5):
		self.dropout_ratio = dropout_ratio
		self.mask = None
	
	def forward(self,x,train_flg=Ture):
		if train_flg:
			self.mask = np.random.rand(*x.shape) > self.dropout_ratio
			return x * self.mask
		else:
			return x * (1.0 - self.dropout_ratio)
	
	def backward(self,dout):
		return dout * self.mask

————————————————

参考资料：https://blog.csdn.net/yinxian9019/article/details/107870356