关于批量梯度下降法(BGD)中损失函数的统计原理

术语说明：
损失函数：计算每个数据样本在当前参数下损失值的函数
成本函数：计算所有样本在当前参数下的损失值的的均值的函数

批量梯度下降法(BGD)，每次随机从训练集中抽取btch size个样本（假设是随机取样，可重复抽取同一样本），假设 L_i 为关于当前参数W下第 i 个样本的损失值（是一个随机变量）,则BGD的成本函数则为:
( L_1 + L_ 2 + L_3,+…+ L_btch size) / btch size
则其期望值为:
[E(L_1) + E(L_2) + E(L_3) + …+ E( L_btch size)] / btch size
L_i 的随机性来源于训练集中不同的样本，所以 E(L_i) 则为训练集（总体）上所有数据样本的损失值的均值，则上式即为原成本函数
综上所述批量梯度下降法(BGD)中得成本函数就是原成本函数的无偏估计。