pytorch学习
跟着视频学习
Yzy_gold
这个作者很懒,什么都没留下…
展开
-
LeNet
卷积神经网络:使用全连接层的局限性:图像在同一列邻近的像素在这个向量中可能相距较远。它们构成的模式可能难以被模型识别。 对于大尺寸的输入图像,使用全连接层容易导致模型过大。使用卷积层的优势:卷积层保留输入形状。 卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算,从而避免参数尺寸过大。LeNet模型:LeNet分为卷积层块和全连接层块两个部分。如图:图中6@代表...原创 2020-02-19 21:09:11 · 193 阅读 · 0 评论 -
卷积神经网络
卷积:输入一个图像,用一个卷积核在图像上面扫描,得到一个新的图像。代码实现:import torch import torch.nn as nndef corr2d(X, K): H, W = X.shape h, w = K.shape Y = torch.zeros(H - h + 1, W - w + 1) for i in range...原创 2020-02-17 23:17:29 · 213 阅读 · 0 评论 -
梯度消失与梯度爆炸
梯度消失与梯度爆炸:当神经网络的层数较多时,模型的数值稳定性容易变差假设一个层数为L的多层感知机的第层的权重参数为,输出层的权重参数为。为了便于讨论,不考虑偏差参数,且设所有隐藏层的激活函数为恒等映射(identity mapping)。给定输入,多层感知机的第l层的输出。此时,如果层数l较大,的计算可能会出现衰减或爆炸。举个例子,假设输入和所有层的权重参数都是标量,如权重参数为0.2和5...原创 2020-02-17 22:18:53 · 113 阅读 · 0 评论 -
线性回归
线性回归1.数据集生成2.损失函数定义3.随机梯度下降Softmaxsoftmax函数如下def softmax(X): X_exp = X.exp() partition = X_exp.sum(dim=1, keepdim=True) return X_exp / partition # 这里应用了广播机制1.定义模型2.定义损失函数...原创 2020-02-14 20:23:33 · 121 阅读 · 0 评论