pytorch学习笔记（七）——loss及其梯度

目录

典型loss

典型的loss有两种，第一种是均方差简称MSE。
第二种是用于分类的误差交叉熵，既可以用于二分类问题，也可以用于多分类问题。一般最后的输出要通过softmax函数，第二种loss我们放在之后的博客中讲解。

MSE

（1）MSE定义

为方便，我们下面讲解MSE不再除以数据个数
（2）MSE求导

（3）pytorch对MSE自动求导
两种求导方法：

方法一：autograd.grad，输入loss，和要显示信息的参数，返回参数梯度list