weixin_43644231的博客

多层感知机（MLP，Multilayer Perceptron）也叫人工神经网络（ANN，Artificial Neural Network），除了输入输出层，它中间可以有多个隐层，最简单的MLP只含一个隐层，即三层的结构，如下图最简单的MLP： 上图模型pyTorch代码： import torch from torch.nn import functional as F x = torch...

简单的单层感知机梯度计算和梯度更新的pyTorch代码 单层感知机模型： 每个输入节点xi与相应的权值wi相乘，然后再l累加，最后再加上一个偏置值b，得到预测值，其数学模型如下： 对于单层感知机，其激活函数是sign函数，但是他是不可导的，这里更换为sigmoid函数。 代码： import torch from torch.nn import functional as F x = tor...

torch.autograd.grad(loss, [w1,w2,...]) 第一个参数是损失函数，第二个参数是loss的变量， 返回值是一个包含每个变量的偏导的list，[w1.grad,w2.grad,…] loss.backward() 直接用loss调用backword函数，但是这样不会直接返回梯度信息，而是附在每个要求梯度的变量上，可以通过wn.grad查看第i个变量的偏导。 ...

比如简单的模型f(x)=xw+b import torch from torch.nn import functional as F x = torch.ones(1) w = torch.full([1], 2) mse = F.mse_loss(torch.ones(1), x * w) torch.autograd.grad(mse, [w]) 当使用torch.autograd.gr...

mnist_train.py import torch from torch import nn from torch.nn import functional as F from torch import optim import torchvision from matplotlib import pyplot as plt from utils import plot_image, pl...