.mm()方法
对tensors使用.mm方法,等同于对array使用.dot方法,其实就是一个在pytorch中使用,一个是在numpy中使用,由于numpy是不能利用GPU来加速运算,因此我们采用了pytorch框架,并在其中复现了numpy的一些方法,比如.mm()与.dot()都是矩阵相乘的结果
grad_h_relu = grad_y_pred.mm(w2.t())
.clamp()方法
将input中的元素限制在[min,max]范围内并返回一个Tensor,比如
h_relu = h.clamp(min=0)
将数值限制在0以上