weixin_43644231的博客

多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图最简单的MLP：上图模型pyTorch代码：import torchfrom torch.nn import functional as Fx = torch...

简单的单层感知机梯度计算和梯度更新的pyTorch代码单层感知机模型： 每个输入节点xi与相应的权值wi相乘，然后再l累加，最后再加上一个偏置值b，得到预测值，其数学模型如下：对于单层感知机，其激活函数是sign函数，但是他是不可导的，这里更换为sigmoid函数。代码：import torchfrom torch.nn import functional as Fx = tor...

torch.autograd.grad(loss, [w1,w2,...])第一个参数是损失函数，第二个参数是loss的变量，返回值是一个包含每个变量的偏导的list，[w1.grad,w2.grad,…]loss.backward()直接用loss调用backword函数，但是这样不会直接返回梯度信息，而是附在每个要求梯度的变量上，可以通过wn.grad查看第i个变量的偏导。...

比如简单的模型f(x)=xw+bimport torchfrom torch.nn import functional as Fx = torch.ones(1)w = torch.full([1], 2)mse = F.mse_loss(torch.ones(1), x * w)torch.autograd.grad(mse, [w])当使用torch.autograd.gr...

mnist_train.pyimport torchfrom torch import nnfrom torch.nn import functional as Ffrom torch import optimimport torchvisionfrom matplotlib import pyplot as pltfrom utils import plot_image, pl...