关于李沐【动手学深度学习】nn.Linear()的理解

最新推荐文章于 2023-11-29 10:51:30 发布
最新推荐文章于 2023-11-29 10:51:30 发布
阅读量337 收藏 1
点赞数
分类专栏： 学习李沐【动手学深度学习】 文章标签： 深度学习 python 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48903083/article/details/129548352
版权

学习多层感知机的Dropout方法产生了一个疑惑，那就是它实现的两段代码不同，下图给出他的两个代码：

 

 这两部分都是对整个感知机进行代码实现，不同的是我在第二部分看到了对于权重的初始化也就是init_weights（）函数，但是我在第一种实现中并没有发现有关W的东西。

整体而言，深度学习是不停的迭代然后对参数进行优化更新，也就是W和b，但是初始值W为什么在第一种方法没有给出初始化，但是第二种给了。

后来查阅相关资料发现是nn.Linear()函数的问题，给该函数出入的参数实际上是生成了一个W权重矩阵，其中参数分别是W的行数和列数，也就是说第一种实现中已经给了一个初始化了，只不过是Linear自动进行了，第二种我觉得是对W的重新初始化。

王阿虎丶
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李沐动手学深度学习(pytorch版本)”d2lzh_pytorch”包的缺少安装问题
12-21
学习深度学习时候，很多人参考的是李沐的动手学深度学习Pytorch版本（附上官方地址：https://tangshusen.me/Dive-into-DL-PyTorch/#/）。 在学习3.5.1节 “获取数据集” 时，会遇到d2lzh_pytorch包缺少的问题，经过查阅资料，下面方法可以解决这个问题。 import torch import torchvision import torchvision.transforms as transforms import matplotlib.pyplot as plt import time import sys sys.path.appe
pytorch nn.linear() 原理
qq_38566432的博客
06-01 551
torch.linear
nn.Linear（）函数详解及代码使用
qq_24193303的博客
07-15 5万+
这是官方给出的文档，需要注意的是，虽然在神经网络中，我们一般输入都是二维的tensor矩阵（batch，input_size），但其实输入的维度是不做限制的。如果是三维的输入，会将前两维的数据先乘一起，然后在做计算，实际上还是单层神经网络的计算。个人理解，这个函数就是改变最后一维，也就是数据的特征维度，通过调整output_size的尺寸来扩张或者是收缩特征。 import torch.nn as nn import torch import numpy as np X_2dim=np.arra..
nn.Linear() 函数可二维或三维输入
m0_61899108的博客
04-03 5628
nn.Linear() 常用于处理二维信息，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。从输入输出的张量的shape角度来理解，相当于一个输入为[batch_size, in_features]的张量变换成了[batch_size, out_features]的输出张量。 仔细观察Shape可以发现，nn.Linear(in_features,out_features)可以用于处理多维信息。
9.2 Dropout
liupc的学习笔记
10-06 384
一、Dropout的概念 二、Dropout的使用 一、Dropout概念 随机失活。随机是指：有一定的概率让神经元失去活性。失活：权重等于0. 看如下示意图： 左边是正常的全连接神经网络。右边是加了dropout,打×的是失活了。 这就可以让神经元学习到更鲁棒的特征，减轻过度的依赖性，从而缓解了过拟合，降低方差，达到正则化的效果。 这个操作也会使得我们的模型更加多样化，因为每一次进行前向传播，神经元都是随机失活，所训练的模型都是不一样的。 为什么可以得到正则化的效果呢？可以..
PyTorch中nn.Linear()理解
StriveZs'Blog
06-21 3264
PyTorch中nn.Linear()理解 计算公式 $ y = xA^{T}+b$ 这里A为weight，b为bias。 代码部分 初始化部分代码 class Linear(Module): ... __constants__ = ['bias'] def __init__(self, in_features, out_features, bias=True): super(Linear, self).__init__() self.in_features = in_feat
Pytorch nn.Linear的基本用法与原理详解
热门推荐
zhaohongfei_358的博客
02-06 11万+
nn.Linear的基本用法 nn.Linear定义一个神经网络的线性层，方法签名如下： torch.nn.Linear(in_features, # 输入的神经元个数 out_features, # 输出神经元个数 bias=True # 是否包含偏置 ) Linear其实就是执行了一个转换函数，即： y=xAT+b y = xA^T + b y=xAT+b 其中ATA^TAT是模型要学习的参数，b是偏置 from torch impor
PyTorch的nn.Linear（）详解
Fighting Hua
08-26 1万+
一、概述 PyTorch的nn.Linear（）是用于设置网络中的全连接层的，需要注意在二维图像处理的任务中，全连接层的输入与输出一般都设置为二维张量，形状通常为[batch_size, size]，不同于卷积层要求输入输出是四维张量。其用法与形参说明如下：   二、参数说明 in_features指的是输入的二维张量的大小，即输入的 [batch_size, size] 中的size（输入图片的特征共有多少个，上一个全连接层神经元的个数）。 out_features指的是输出的二维张量的大小，即输
PyTorch的nn.Linear()详解
Yang_4881002的博客
11-17 1320
PyTorch的nn.Linear()详解
Vision Transformer
m0_56247038的博客
06-23 594
ViT是一种新型的深度学习模型，它使用transformer架构来对图像进行处理，与传统的卷积神经网络不同。 在ViT中，图像被划分为一个个固定大小的图块，并通过transformer进行处理，使得ViT可以适用于不同大小的图像。
动手学深度学习课程作业和答案
03-21
动手学深度学习课程作业和答案
动手学深度学习d2l-zh_李沐1
08-03
动手学深度学习d2l-zh_李沐1
《动手学深度学习》2020正式版本-李沐_深度学习
09-11
深度学习资料，能快速提升自己在这方面的能力
最全面的 深度学习 笔记【土堆 Pytorch】【李沐 动手学深度学习】【吴恩达 深度学习】
最新发布
05-16
深度学习是机器学习的一个重要分支，通过模拟人脑的神经网络结构进行数据处理和模式识别。以下是三种重要的深度学习资源，它们涵盖了...李沐的《动手学深度学习》是一本非常适合初学者的教材，结合理论与实践，采用J
PyTorch nn.Linear学习记录
OrdinaryMatthew的博客
06-03 457
记录一下 PyTorch nn.Linear 的学习过程。 一、 import torch model = torch.nn.Linear(2, 3); print('Network Structure : torch.nn.Linear(2,3) :\n', model) print('Weight Of Network :\n', model.weight) print('Bias Of Network :\n', model.bias) 输出： Network Structure : torch.n
Attention +Transformer学习记录（二）
weixin_73989383的博客
11-29 68
3.一、Self-Attention。
【pytorch】torch.nn.Linear详解
sazass的博客
03-18 4万+
在学习transformer时，遇到过非常频繁的nn.Linear()函数，这里对nn.Linear进行一个详解。 参考：https://pytorch.org/docs/stable/_modules/torch/nn/modules/linear.html 概要 1. nn.Linear的原理:2. nn.Linear的使用:3. nn.Linear的源码定义:4. nn.Linear的官方源码: 1. nn.Linear的原理: 从名称就可以看出来，nn.Linear表示的是线性变换，原型就是初级数学
nn.Linear()函数详解
horizonwys的博客
07-22 1万+
nn.Linear()函数详解。
torch.nn.Linear()函数
qq_35037684的博客
11-30 1万+
torch.nn.Linear(in_features, out_features, bias=True) 函数是一个线性变换函数： 其中，in_features为输入样本的大小，out_features为输出样本的大小，bias默认为true。如果设置bias = false那么该层将不会学习一个加性偏差。 Linear()函数通常用于设置网络中的全连接层。 import torch x = torch.randn(8, 3) # 输入样本 fc = torch.nn.Linear(3, 5) #
李沐《动手学习深度学习》
10-08
李沐是一位著名的深度学习专家，他是MXNet深度学习框架的创始人之一，并且担任着D2L（动手学习深度学习）这门开放在线教育课程的作者之一。《动手学习深度学习》（Dive into Deep Learning）是该课程的教材，它旨在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值