Pytorch 激活函数

1.torch.sigmoid(a)是指在整个x轴上，值域在（0，1）平滑的曲线

2.torch.tanh(a)实在sigmoid的基础上再乘以2下移1，即值域在（-1，1）

3.torch.ReLU(a)是在sigmoid的基础上在进行简化处理（_/类似这样）

4.当a的数据默认不可导时可用a.requires_grad_()激活 ，或是在定义时a=torch.tensor(require_grad=True).

5.torch.norm

6.loss.backgrad()目的是让a可以直接a1.grad(),a2.grad()   

另一种方法是torch.autograd.grad(loss,[a1,a2,...])

7.softmax是将各个正确率进行计算使其所占比重相加之和为1。公式找找

8.softmax的计算机制