卷积神经网络的整体流程
第20课
涉及参数步长,stride; kernel_Size, padding,卷积核个数
对不同区域卷积参数共享
Alexnet, VggNet, ResNet.
网络深了,梯度消失或者梯度爆炸。网络深了,难优化,resnet
感受野
autograd机制
求偏导链式法则
z.backward(retrain_graph=True)如果不清空梯度会累加起来
requires_grad_()与requires_grad的区别,同时pytorch的自动求导(AutoGrad)
使用GPU进行训练,把数据和模型传入到cuda里面
Model.to(device)
Data.to(device)
pytorch中tensor格式
Scalar, vector, matrix, n-dimensional tensor
torch. Hub模块
别人论文训练得到的已有模型以及较优的参数,可以直接调用函数
pandas读取csv文件
用神经网络实现气温预测
My_nn = torch.nn.Sequential( torch.nn.Linear(input_size, output_size),
torch.nn.Sigmoid(),
torch.nn.Linear(hidden_size, output_size)
)
每个mini-batch optimizer.zero_grad()
mnist分类
参考材料
(1)安装requests, conda install
(2) 参考材料
torch.nn.functional和torch.nn.Module(对应有可学习参数的模块)
训练model.train(),正常使用batch nomalization和Dropout
测试Model.eval(),这样就不会使用batch nomalization和Dropout
tensor的拆分、合并及基本运算
Tensor.reshape, view, resize_()
参考材料
arg softmax
Torch.max