深度学习实践
文章平均质量分 67
white_0629
努力学习中
展开
-
深度学习实践8:Attention实现
这里时间步大小就是一个句子的长度,比如两个句子,第一个句子对第二个句子做Attention,之前看论文transformer的时候,因为任务是机器翻译,query和key的句子是相同的。经过加和以及tanh(),features的维度 = (批量大小 * q时间步大小 * k时间步大小 * h) (2,1,10,8)(批量大小 * q时间步大小 * k时间步大小 * h)(2,1,10,1)削掉最后一个维度(2,1,10)keys的维度 =(批量大小 * 时间步大小 * 特征长度) (2,10,2)转载 2023-09-10 23:35:59 · 102 阅读 · 0 评论 -
深度学习实践 7:手撕RNN网络
这段代码实现了一个循环神经网络(RNN)模型,并使用训练数据对其进行训练。原创 2023-09-07 18:23:23 · 200 阅读 · 0 评论 -
深度学习实践 6:Resnet 神经网络构建
该实践与Residual类建立的Resnet神经网络。输入代码进行运算。原创 2023-09-06 21:15:51 · 74 阅读 · 0 评论 -
深度学习实践5:Lenet图片分类实践(含BN操作)
这段代码是使用PyTorch实现的LeNet-5卷积神经网络,用于处理Fashion-MNIST数据集。原创 2023-09-06 00:00:15 · 135 阅读 · 0 评论 -
深度学习实践4:手撕卷积神经网络
本部分实现了一个简单的二维卷积神经网络(Conv2D),并进行了简单的实践,以下是代码流程。原创 2023-09-05 18:28:39 · 196 阅读 · 0 评论 -
深度学习实践2:手撕softmax函数
这段代码是一个简单的基于PyTorch的Fashion-MNIST分类模型训练过程。下面对代码进行逐行解释。原创 2023-08-31 22:30:31 · 176 阅读 · 0 评论 -
深度学习实践3:多层感知机
这些库和模块包含了构建和训练模型所需的功能。load_data_fashion_mnist, train_ch3两个函数具体可看定义了一个包含两个全连接层的神经网络模型net这个模型包含一个将输入展平的Flatten层,一个输入维度为784、输出维度为256的全连接层,一个ReLU激活函数,以及一个输入维度为256、输出维度为10的全连接层。定义了一个函数这个函数接收一个模块m,如果模块是nn.Linear类型的,则对其权重进行正态分布初始化。使用apply方法将初始化权重的操作应用到模型net。原创 2023-09-01 10:34:58 · 122 阅读 · 0 评论 -
深度学习实践1:手撕线性回归
random用于随机数生成,torch用于深度学习框架。函数用于生成合成数据。它接受权重w、偏置b和样本数量作为输入,并生成服从正态分布的特征X和对应的标签y。标签y由特征X和权重w以及偏置b计算得到,然后添加了服从正态分布的噪声。函数用于生成小批量数据。它接受批量大小batch_size、特征features和标签labels作为输入,并返回一个生成器,每次生成一个批量的特征和标签。函数内部通过随机打乱样本的索引,然后按照批量大小分割数据。原创 2023-08-31 11:21:50 · 89 阅读 · 1 评论