1.numpy乘法运算中"*"或multiply(),是数组元素逐个计算。
numpy乘法运算中"@"或dot()是按照矩阵乘法的规则来计算。
2.pytorch默认的初始化方式
卷积层和全连接层权重层采用He-Uniform,bias层采用(-1, 1)均匀分布
Embedding层采用的是(-1, 1)均匀分布初始化策略
1.numpy乘法运算中"*"或multiply(),是数组元素逐个计算。
numpy乘法运算中"@"或dot()是按照矩阵乘法的规则来计算。
2.pytorch默认的初始化方式
卷积层和全连接层权重层采用He-Uniform,bias层采用(-1, 1)均匀分布
Embedding层采用的是(-1, 1)均匀分布初始化策略