动手学深度学习
文章平均质量分 64
以李沐的动手学深度学习这本书为基础,展开对pytorch和深度学习的学习。
LL.。
这个作者很懒,什么都没留下…
展开
-
3.13--丢弃法
上一节对于少样本数据使用L2正则化即权重衰减可以防止过拟合,这一节通过对模型参数丢弃也可以防止过拟合。1.通过张量对应位置相乘丢弃部分参数2.没有丢弃的参数除以存在概率对该参数拉伸assert 0 <= drop_prob <= 1 # drop_prob丢弃率要介于0到1之间keep_prob = 1 - drop_prob # 除以1-p做拉伸# 这种情况下把全部元素都丢弃if keep_prob == 0: # 当丢弃率为1时# 定义了一个四层网络。原创 2024-07-20 11:30:40 · 220 阅读 · 0 评论 -
3.12--权重衰减
数据集不足情况下,权重衰减能减轻过拟合。原创 2024-07-18 15:27:14 · 273 阅读 · 0 评论 -
3.11--模型选择、欠拟合和过拟合
通过Linear文档可知,pytorch已经将参数初始化了,所以我们这里就不手动初始化了# tensorDataset()参数中张量的第一维相同这一节通过控制变量法,对一个相同数据在较复杂模型、简单模型、少量数据三种情况下训练模型,观察训练出的模型在训练集和测试集上的损失函数进行比较,发现只有模型具有一定复杂量、具有充足的数据集,才能训练出较好的模型。原创 2024-07-16 16:08:50 · 137 阅读 · 0 评论 -
3.10--多层感知机的简洁实现
多层感知机的简洁实现。原创 2024-07-14 18:14:36 · 311 阅读 · 0 评论 -
3.9--多层感知机的从零开始实现
输入数据(256,784),W1=(784,256),b1=(1,256),W2=(256,10),b2=(1,10)在torch.max()函数中,input是输入张量,other参数是用来比较的,作用是张量中每个值变成该值和other的最大值。使用方法和之前类似。原创 2024-07-14 17:30:54 · 115 阅读 · 0 评论 -
3.7--softmax回归的简洁实现
import sys继承nn.Module的子类中必须要有__init__()和forward()这两种方法。其中__init__中定义可学习参数的层,forward()是实现模型的功能,是实现各个层之间联系的核心。链接# 经过forward()后生成(x.shape[0], num_outputs)的张量return y。原创 2024-07-12 17:57:20 · 385 阅读 · 0 评论 -
3.6--softmax回归的从零开始实现
softmax回归和交叉熵损失函数。原创 2024-07-12 11:50:00 · 805 阅读 · 0 评论 -
3.5--图像分类数据集Fashion-MNIST
Fashion-MNIST数据集的下载和读取。原创 2024-07-10 17:53:30 · 248 阅读 · 0 评论 -
3.3--线性回归简洁实现
pytorch对线性回归的简洁实现。原创 2024-07-09 17:55:25 · 347 阅读 · 0 评论 -
3.2--线性回归从零实现
例如:本文就介绍了用pytorch对线性回归的简单实现。def linreg(X, w, b): # torch.mm是矩阵相乘函数def squared_loss(y_hat, y): # y.view将y改成y_hat.size()大小的张量,不是复制param.data -= lr * param.grad / batch_size # 注意这里更改param时用的param.data。原创 2024-07-08 20:47:10 · 256 阅读 · 0 评论