10.19Pytorch日志

10.19
torch.cat()
torch.pow()

正向传播:
输⼊层到输出层的顺序

反向传播:
反向传播依据微积分中的链式法则，沿着从输出层到输⼊层的顺序，
依次计算并存储⽬标函数有关神经⽹络各层的中间变量以及参数的梯度

训练深度学习模型:

all in all:
正向传播沿着从输⼊层到输出层的顺序，依次计算并存储神经⽹络的中间变量。
反向传播沿着从输出层到输⼊层的顺序，依次计算并存储神经⽹络中间变量和参数的梯度。

数值稳定性和模型初始化
:
衰减和爆炸: 层数多， 参数设置：0.2，5 30层时，0.2的30次方(衰减)，5的30次方(爆炸)

随机初始化模型参数