再见了，各位

最新推荐文章于 2024-04-26 15:38:55 发布
最新推荐文章于 2024-04-26 15:38:55 发布
阅读量108 收藏
点赞数 1
文章标签： c语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2403_82821905/article/details/136572279
版权

本人不再使用csdn账号了，各位后会有期吧....

李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 3864
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
如何读论文（李沐）
竦貊的博客
06-01 2443
看题目， 摘要，直接看结论 要知道文章，大概讲什么，，方法怎么样决定要不要继续读可以从头到尾读， 作者提出的方法，和别人的方法差别有多大，，流程图，，x轴，y轴读它引用的文献知道每一句话在干什么，，，重复，实现这一片文章，脑补文章 我会怎么办？能不能走下去？..............................
李沐论文精读系列一： ResNet、Transformer、GAN、BERT
qq_56591814的博客
10-16 1万+
听了一下李沐大神讲的几篇论文，还是有一些收获。
【Transformer】李沐论文逐段精读学习笔记
Zheng_LH
07-10 2750
贡献：网络简单，且跟之前的网络结构都不一样，不使用rnn或cnn的单元。并行度更好，训练快很多。在机器翻译上取得了更好的效果。本文提出的Transformer是第一个纯基于attention的序列转录模型，使用multi-head self-attention替代了之前的rnn结构。在机器翻译上，比RNN和CNN都要快，还取得了新的SOTA。介绍了传统的RNN，CNN以及encoder-decoder架构。分析了RNN的缺点：难以并行。容易遗忘。再介绍了attention机制。最后提出了一个全新的架构Tra
李沐论文精读系列二：Vision Transformer、MAE、Swin-Transformer
qq_56591814的博客
10-17 1万+
本文是参考李沐bilibil论文精度视频和太阳花的视频/博文后所写
李沐论文精读系列三：MoCo、对比学习综述（MoCov1/v2/v3、SimCLR v1/v2、DINO等）
热门推荐
qq_56591814的博客
11-03 3万+
详细介绍了MoCov1模型，以及14种对比学习方法：Inst Disc、Inva Spread、CMC、CPC、MoCov1/v2/v3、SimCLR v1/v2、SwAV、BYOL、SimSiam、DINO
李沐精读论文：transformer 《Attention Is All You Need》 by Google
iwill323的博客
12-17 2923
李沐读论文：transformer 《Attention Is All You Need》 by Google
李沐论文精读： ResNet 《Deep Residual Learning for Image Recognition》 by Kaiming He
iwill323的博客
12-14 1491
李沐论文精读： ResNet 《Deep Residual Learning for Image Recognition》 by Kaiming He
李沐论文精读：BERT 《BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding》
iwill323的博客
12-19 1218
李沐论文精读：BERT BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
transformer论文解读_Transformer-XL论文解读
weixin_29104059的博客
12-18 208
本文提出了一种新型的神经网络结构Transformer-XL，它能够学习超过固定长度的dependency，而不会破坏时间连续性。其包含了两个部分：段级递归机制(segment-level recurrence mechanism)和一种新颖的位置编码方案（positional encoding scheme）。该神经网络模型不仅可以获取长期依赖（long-term dependency），而且可...
李沐论文讲解笔记 之 Transformer
weixin_44733311的博客
11-28 1407
本人听课的时候，根据李沐老师讲的内容和顺序进行整理。需要可以参考。
李沐论文精读系列六：端到端目标检测DETR、最简多模态ViLT
qq_56591814的博客
11-10 5489
选了目标检测和多模态的两篇很火的论文
Transformer详解（李沐大神文字版，干货满满！）
qq_42068614的博客
03-09 6179
使用图和文字记录下了李沐大神的Transformer论文逐段精度视频，方便大家后续快速复习。
【李沐论文精读】ViLT精读
Emily的博客
03-12 2060
ViLT也是一个极其简单的视觉-文本多模态的框架。其最主要贡献：就是把多模态学习框架中的目标检测，也就是论文中反复强调的Region Feature（区域性特征）直接拿掉了。这个操作简直算是神来之笔，因为它极大地简化了视觉模态特征的抽取过程，大大提高了模型的推理速度，可称之为多模态领域一个里程碑式的工作。
李沐68_Transformer架构——自学笔记
Rrrrrr900的博客
04-26 1200
在下面的实现中，输入X的形状（批量大小，时间步数或序列长度，隐单元数或特征维度）将被一个两层的感知机转换成形状为（批量大小，时间步数，ffn_num_outputs）的输出张量。值得注意的是，解码器的自注意力权重和“编码器－解码器”的注意力权重都有相同的查询：即以序列开始词元（beginning-of-sequence,BOS）打头，再与后续输出的词元共同组成序列。与编码器的自注意力的情况类似，通过指定输入序列的有效长度，输出序列的查询不会与输入序列中填充位置的词元进行注意力计算。
Transformer论文解读
周先森爱吃素的博客
06-28 2541
介绍如今被广泛使用的Transformer模型结构。
李沐代码
最新发布
03-08
### 关于李沐及其相关资源 关于李沐的工作和贡献，在多个方面都有所体现。李沐参与了多项开源项目的开发工作，其中包括对多种编程语言的支持，如 Java、C++、Python、Go、JS、TS、C#、Swift 和 Zig 等[^1]。 #### 李沐代码示例 虽然具体的个人代码示例未直接提及，但考虑到李沐在机器学习领域尤其是深度学习方面的深厚造诣以及其对于Transformer架构的研究，可以从他精读并推广的技术成果中窥见一二。例如，在研究Swin Transformer的过程中，该模型采用了一种新颖的方法来减少计算复杂度，仅需在线性时间内处理不同尺寸的输入图像，这得益于局部窗口内的多头自注意力机制(W-MSA)[^5]。 ```python import torch.nn as nn class SwinTransformerBlock(nn.Module): def __init__(self, dim, num_heads, window_size=7, shift_size=0, mlp_ratio=4., qkv_bias=True, drop=0., attn_drop=0., drop_path=0., act_layer=nn.GELU, norm_layer=nn.LayerNorm): super().__init__() self.window_size = window_size self.shift_size = shift_size # Window-based multi-head self attention (W-MSA) or Shifted W-MSA if min(self.input_resolution) <= self.window_size: # 若输入分辨率小于等于窗口大小，则不进行移位操作，并设置窗口大小为输入分辨率 self.shift_size = 0 self.window_size = min(self.input_resolution) assert 0 <= self.shift_size < self.window_size, "shift_size must in 0-window_size" self.attn = WindowAttention( dim, window_size=(self.window_size, self.window_size), num_heads=num_heads, qkv_bias=qkv_bias, attn_drop=attn_drop, proj_drop=drop) ``` 此段代码展示了如何定义一个基本的Swin Transformer模块，其中包含了关键组件——基于窗口的多头自注意机制（W-MSA），这是由李沐等人深入探讨的一种有效降低计算成本的方法之一。 #### 李沐编程教程与开源项目 除了理论上的探索外，李沐还积极参与到实际应用当中。创办了专注于游戏娱乐领域的大规模模型应用初创企业Boson AI，表明了其不仅限于学术界的努力方向[^4]。此外，作为一位活跃的技术分享者，李沐可能也提供了不少公开可访问的教学材料或文档，帮助更多开发者理解和掌握最新的技术趋势和发展动态。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值