动手学深度学习V2 课程笔记
动手学深度学习V2 简单笔记;https://zh-v2.d2l.ai
Myrna_Q
拂去表面的浮华,敬畏深沉的思想。
展开
-
13 dropout
李沐大神 动手学深度学习 课程笔记简单学习笔记,详情请阅读 https://zh-v2.d2l.ai/动机一个好的模型需要对输入数据对扰动鲁棒。使用有噪音对数据等价于Tikhonov 正则drop out:在层之间加入噪音。通常作用在隐藏全连接层的输出上。(只在训练中使用)无偏差的加入噪音加入噪音但是期望不变。 x为上一层的输出。import torchfrom torch import nnfrom d2l import torch as d2ldef dropout_laye原创 2021-04-19 03:11:13 · 164 阅读 · 0 评论 -
12 权重衰减
模型容量主要因素1、参数个数2、参数值的选择范围防止过拟合1、限制参数值的范围来控制模型容量2、使用均方范数作为柔性限制。权重参数更新法则演示lambda对最优解对影响数据噪声越大,w 往往越大。合适的lambda把 w 拉到中心。%matplotlib inlineimport torchfrom torch import nnfrom d2l import torch as d2ln_train, n_test, num_inputs, batch_size = 2原创 2021-04-19 03:03:51 · 249 阅读 · 0 评论 -
10 多层感知机
李沐大神 动手学深度学习 课程笔记简单学习笔记,详情请阅读 https://zh-v2.d2l.ai/import torchfrom torch import nnfrom d2l import torch as d2lbatch_size = 256train_iter, test_iter = d2l.load_data_fashion_mnist(batch_size)num_inputs, num_outputs, num_hiddens = 784, 10, 256W1 =原创 2021-04-19 02:56:27 · 268 阅读 · 1 评论 -
09 图片分类
李沐大神 动手学深度学习 课程笔记简单学习笔记,详情请阅读 https://zh-v2.d2l.ai/%matplotlib inline import torchimport torchvisionfrom torch.utils import datafrom torchvision import transformsfrom d2l import torch as d2ld2l.use_svg_display()trans = transforms.ToTensor()mni原创 2021-04-19 02:52:14 · 296 阅读 · 0 评论 -
08 线性回归
李沐大神 动手学深度学习 课程笔记简单学习笔记,详情请阅读 https://zh-v2.d2l.ai/QA1、batchsize 越小越容易收敛。因为batchsize小可能会带来比较大的噪声,但是对于复杂的神经网络是件好事情,更鲁棒。%matplotlib inlineimport torchimport randomfrom d2l import torch as d2l# 构造数据集,带有噪声的线性模型def synthetic_data(w, b, num_examples原创 2021-04-19 02:47:33 · 154 阅读 · 0 评论 -
07 自动求导
李沐大神 动手学深度学习 课程笔记简单学习笔记,详情请阅读 https://zh-v2.d2l.ai/import torchpytorch 隐式构造图x = torch.arange(4.0, requires_grad = True) #注意4.0,不能为4,需为tensor。xtensor([0., 1., 2., 3.], requires_grad=True)y = 2* torch.dot(x, x)#x向量,y标量,同时记录y是从x计算过来( grad_fn=<Mul原创 2021-04-19 02:37:11 · 161 阅读 · 2 评论