Pytorch基础学习（第四章-Pytorch损失优化）

课程一览表：

目录

一、权值初始化

1.梯度消失与爆炸

2.Xavier方法与kaiming方法

3.常用初始化方法

二、损失函数

1.损失函数概念

2.交叉熵损失函数

3.NLLLoss

4.BCE

5.BCEWithLogists Loss

6.nn.L1Loss

7.nn.MSELoss

8.SmoothL1Loss

9.PoissonNLLLoss

10.KLDivergence Loss

11.Margin Ranking Loss

12.Multi Label Margin Loss

13.SoftMargin Loss

14.MultiLabel SoftMargin Loss

15.Multi Margin Loss

16.Triplet Margin Loss

17.Hinge Embedding Loss

18.Cosine Embedding Loss

19.CTC Loss

四、优化器（一）

1.什么是优化器

2.optimizer的属性和方法

五、优化器（二）

1.learning rate 学习率

2.momentum 动量

3.torch.optim.SGD

4.Pytorch的十种优化器

六、学习率调整策略

1.为什么要调整学习率？

2.pytorch的六种学习率调整策略

3.学习率调整小结

---

一、权值初始化

1.梯度消失与爆炸

为避免梯度消失与梯度爆炸的产生，就要严格控制网络输出层的输出值得尺度范围，不要太大、也不要太小。

 根据代码看原理

构建MLP类，init函数中定义了100个网络层，每个网络层有256个神经元

forward进行前向传播

initialize函数对权值进行初始化

如下所示，使用标准正态分布的方法对权值进行初始化

class MLP(nn.Module):
    def __init__(self, neural_num, layers)