【深度学习】这千层transformer让我目瞪口呆

最新推荐文章于 2024-02-01 16:30:52 发布
最新推荐文章于 2024-02-01 16:30:52 发布
阅读量236 收藏
点赞数
文章标签： 人工智能 机器学习 深度学习 python 算法
原文链接：https://mp.weixin.qq.com/s?__biz=MzIwODI2NDkxNQ==&mid=2247501900&idx=4&sn=00d912e99248fc539d28aac4d70ca3b3&chksm=970743f0a070cae65d914799449156b2229a20dd2e762386b2ac3914a890db64f967272f8a21&scene=126&&sessionid=0
版权

 作者：十方

见过几层的mlp，也见过几十层的GoogleNet，还见过上百层的Resnet，上千层的transformer见过没！这篇论文<DeepNet: Scaling Transformers to 1000 Layers>它来了。它提出了一个简单有效的方法来训练"极深"的transformer。这篇论文提出了一个新的标准化方程(DEEPNORM)去修改transformer中的残差链接。该论文有着非常深入的理论分析模型在训练过程中参数更新是非常稳定的，使得1000层的transformer诞生，并且在各项指标上吊打其他模型。

7fc3d1f87aec54110f26e5f8ee48b93b.png

DEEPNORM

f4cdfec08c3d3aa42434f4e78fe91c3e.png

 基于Post-LN的transfomer，该文实现了DEEPNORM(如下图伪代码所示)。与Post-LN相比，DEEPNORM在进行layer-norm之前会扩大残差连接。除此以外，在初始化过程中降低了参数的比例。需要注意的是，该方法只会扩大前馈网络的权值的规模，以及attention层的投影值。

1d87465c535be06842b3a92b9c1fba90.png

813ae07de72e70a014c682ff92e47757.png

DEEPNET基于transformer架构，不同的就是用了deepnorm替换每层的post-LN，如下式所示,Gl是第l层attention和feed-forward网络:

595ccf50a4c4185ce742d93eb6801a84.png

下图中我们发现对比Post-LN，DeepNet更新更加稳定。

55b10cecdcdb561a37ecc5efbcaeab99.png

实验

71492c1770ba140933913931e4df3d2d.png

e6b66db5f5781dabe3aa01dceef276b9.png

b8f602dffbbd9282f9387da80a584f0f.png

11753c3ea09a154a00fd7aa243c72e19.png

参考文献

e06b375dd6ed9b4b7e361b892a6d8ac8.png

  • DeepNet: Scaling Transformers to 1000 Layers

https://arxiv.org/pdf/2203.00555.pdf

 
 
 
 
 
 
 
 
 
 
往期精彩回顾




适合初学者入门人工智能的路线及资料下载(图文+视频)机器学习入门系列下载中国大学慕课《机器学习》（黄海广主讲）机器学习及深度学习笔记等资料打印《统计学习方法》的代码复现专辑
AI基础下载机器学习交流qq群955171419，加入微信群请扫码：
 
 
b022b9a7ee8df13a8db20cb04e9b24c3.png
 


                

        

        

    




    

      

        

            

              
                
                  风度78
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      










                



	

		

			

				
					
深度学习-Transformer实战系列课程

				
			

			

				

					09-23
				

			

		

		

			
				
Transformer模型是深度学习领域中的一个重大突破，由Google在2017年提出...通过这个课程，你不仅能掌握Transformer模型的核心概念和技术，还能提升自己在深度学习领域的实战能力，为从事相关工作或研究打下坚实的基础。

			
		

	



                

              
                



	

		

			

				
					
深度学习-transformer解读

				
			

			

				

					02-04
				

			

		

		

			
				
### 深度学习-Transformer解读  #### Transformer简介与架构特点  Transformer模型是近年来自然语言处理（NLP）领域的一项重大突破，它摒弃了传统的循环神经网络（RNN）结构，采用了一种全新的机制——自注意力...

			
		

	



                


  
              

                


	

		

			

				
					
文献阅读：DeepNet: Scaling Transformers to 1,000 Layers

				
			

			

				

					codename_cys的博客
				

				

					04-10
					
					2526
					
				

			

		

		

			
				
文献阅读：DeepNet: Scaling Transformers to 1,000 Layers

1. 文章简介
2. 核心技术点

1. DeepNet整体结构
2. 参数初始化考察
3. DeepNorm考察


3. 实验考察

1. 可行性考察
2. 有效性考察


4. 结论 & 思考





文献链接：https://arxiv.org/abs/2203.00555

1. 文章简介
这篇文章是我司前阵子发布的一篇对于transformer的优化文章，一作还是我室友兼师弟，也..

			
		

	





	

		

			

				
					
DeepNet :Scaling Transformers to 1000 Layer

				
			

			

				

					Hanze的博客
				

				

					03-26
					
					483
					
				

			

		

		

			
				
上述图片为deepnorm的伪代码，其中以Post-LN为基础，给 x 加一个alpha权重，然后对ffn，v_projection, out_projection 与 q_projection 和k_projection分别采用不同的初始化方法，区别是gain参数，其中gain参数为一个可选的比例因子。作者提出了一种简单且高效的方法稳定的提升了Transformer 的深度，这种方法是一种新的残差连接的方式（DeepNorm），它结合了以前的。

			
		

	



		

			
		



	

		

			

				
					
【数据挖掘】谷歌提出最新时序框架--Deep Transformer

				
			

			

				

					fengdu78的博客
				

				

					10-09
					
					819
					
				

			

		

		

			
				
作者：杰少Deep Transformer Models for TSF简 介Transformer技术在诸多问题，例如翻译，文本分类，搜索推荐问题中都取得了巨大的成功，那么能否用于时间序...

			
		

	





	

		

			

				
					
（深度学习）Transformer

				
			

			

				

					KNIGHT_HOY的博客
				

				

					03-26
					
					1940
					
				

			

		

		

			
				
文章目录TransformerApplicationfor speechfor chatbotNLPMulti-label ClassificationObject Detectionseq2seqEncoderDecoder（Autoregressive）Decode网络结构NAT（None Autoregressive） DecoderEncoder2DecoderCross attentionTraining
Transformer
Application
for speech


实质上是seq2s

			
		

	





	

		

			

				
					
解决训练难题，1000层的Transformer来了，训练代码很快公开

				
			

			

				

					
				

				

					03-04
					
					2260
					
				

			

		

		

			
				
1000 层的 Transformer，深得吓人。昨日出炉的论文《DeepNet: Scaling Transformers to 1,000 Layers》在研究社区引起了热议，作者来自微软亚洲研究院。该研究直接把 Transformer 深度提升到 1000 层！下面让我们看下这篇研究说了什么。近年来，大规模 Transformer 模型出现了这样一种趋势：随着模型参数从数百万增加至数十亿甚至数万亿，性能相应地实现了显著提升。大规模模型在一系列任务上都取得了 SOTA 性能，并在小样本和零样本学习设置下

			
		

	





	

		

			

				
					
深度学习+NLP+transformer

				
			

			

				

					09-25
				

			

		

		

			
				
深度学习与自然语言处理（NLP）的结合已经成为现代AI技术的核心组成部分，Transformer模型在此领域发挥了巨大作用。Transformer由Google在2017年提出，它摒弃了传统的循环神经网络（RNN）架构，转而采用自注意力...

			
		

	





	

		

			

				
					
深度学习自然语言处理-Transformer模型.zip

				
			

			

				

					08-29
				

			

		

		

			
				
Transformer模型是深度学习领域中自然语言处理（NLP）的一次重大突破，由Google的研究团队在2017年提出并发表在《Attention is All You Need》论文中。该模型摒弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）...

			
		

	





	

		

			

				
					
基于Transformer的深度学习模型

					
最新发布

				
			

			

				

					07-11
				

			

		

		

			
				
这段代码实现了一个基于Transformer的EEG信号分类模型。通过PatchEmbedding对EEG数据进行嵌入，再通过多头自注意力机制捕捉全局依赖关系，最终通过分类头进行二分类。代码中还包括数据的预处理、标准化和训练过程。

			
		

	





	

		

			

				
					
训练1000层的transformer

				
			

			

				

					weixin_36378508的博客
				

				

					10-11
					
					250
					
				

			

		

		

			
				
transformer深层训练理论分析实现

			
		

	





	

		

			

				
					
深层Transformer的一些工作

				
			

			

				

					leo0308的博客
				

				

					04-01
					
					557
					
				

			

		

		

			
				
0 引言
自从Transforme提出之后， 在各个领域获得了巨大的成功。 在提升精度这条道路上， 有很多的改进工作。
提升精度一个的一个常用做法就是把模型变大， 增大模型的容量， 从而提升模型的精度。 增大模型有2个方向，一个是增加宽度， 另一个是增加宽度。 像Transformer-big版本就是增加了宽度。
但是对Transformer网络， 单纯地直接增加深度通常会遇到梯度消失/爆炸等造成训练不稳定的问题。 因此需要额外的手段解决这些问题。
本文分享几篇通过不同方式加深Transformer网络深度

			
		

	





	

		

			

				
					
深度卷积神经网络 matlab,matlab使用贝叶斯优化的深度学习：卷积神经网络CNN

				
			

			

				

					weixin_35797090的博客
				

				

					03-16
					
					873
					
				

			

		

		

			
				
原文链接：http://tecdat.cn/?p=7954此示例说明如何将贝叶斯优化应用于深度学习，以及如何为卷积神经网络找到最佳网络超参数和训练选项。要训练深度神经网络，必须指定神经网络架构以及训练算法的选项。选择和调整这些超参数可能很困难并且需要时间。贝叶斯优化是一种非常适合用于优化分类和回归模型的超参数的算法。准备数据下载CIFAR-10数据集[1]。该数据集包含60,000张图像，每个图像...

			
		

	





	

		

			

				
					
时间系列预测的Deep transformer模型：流感流行病例

				
			

			

				

					weixin_39986534的博客
				

				

					10-09
					
					2347
					
				

			

		

		

			
				
目录

首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。

1 文章来源链接

2 Abstract

首先 看篇文章我的目的是为了找到一种方法可以适用于单目标的多维特征数据的时间预测 。

1 文章来源链接

https://arxiv.org/pdf/2001.08317.pdf

2 Abstract

In this paper, we present a new approach to time series forecasting. Time series d

			
		

	





	

		

			

				
					
利用pytorch 实现深度残差网络(deep_residual_neural_network)

				
			

			

				

					张帅影&RS&DeepLearning
				

				

					03-21
					
					1562
					
				

			

		

		

			
				
利用pytorch 实现深度残差网络深度残差网络代码实现输出结果
深度残差网络
残差网络是由来自Microsoft Research的4位学者提出的卷积神经网络，在2015年的ImageNet大规模视觉识别竞赛（ImageNet Large Scale Visual Recognition Challenge, ILSVRC）中获得了图像分类和物体识别的优胜。 残差网络的特点是容易优化，并且能够通过增加相当的深度来提高准确率。其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题 。

			
		

	





	

		

			

				
					
每天一个知识点——Normalization

				
			

			

				

					kavin_star的博客
				

				

					08-10
					
					1147
					
				

			

		

		

			
				
学习过程的记录与总结，有些是个人的理解，不一定全对，欢迎讨论和指正

			
		

	





	

		

			

				
					
大模型——理论基础——常用的Norm

				
			

			

				

					fan_fan_feng的专栏
				

				

					02-01
					
					5427
					
				

			

		

		

			
				
这样的顺序对于训练更深的网络可能更稳定，因为归一化的输入可以帮助缓解训练过程中的梯度消失和梯度爆炸问题。比于LN，可以发现，不论是分母的方差和分子部分，都取消了均值计算，经作者在各种场景中实验发现，减少约 7%∼64% 的计算时间。通过上面三组实验，作者认为 Post-LN 的不稳定性部分来自于梯度消失以及初始化的时候，更新太大，陷入了局部最优，跑不出去了。都是根据模型的Encoder（N）和Decoder（M）层数计算出来的，通过如下方案，作者把模型的层数提升到了1000+。

			
		

	





	

		

			

				
					
LLM：大模型的正则化

				
			

			

				

					皮皮blog
				

				

					05-30
					
					2782
					
				

			

		

		

			
				
主流大模型使用的Normalization主要有三类，分别是Layer Norm，RMS Norm，以及Deep Norm。小模型的正则化参考：l1l2正则和dropout正则化[LN和BN归一化 [

			
		

	





	

		

			

				
					
GLM-130B-一个开放的双语通用预训练模型-论文精读

				
			

			

				

					wangwangstone的博客
				

				

					05-12
					
					4051
					
				

			

		

		

			
				
本文为作为类ChatGPT的模型ChatGLM的前期基础论文2《AN OPEN BILINGUAL PRE-TRAINED MODEL》的精读笔记。GLM-130B，主要思想概述：一个双语（英文和中文）的基于GLM的双向稠密模型。并没有使用GPT风格的架构，而是采用通用语言模型（GLM）算法（Du et al.，2022）来利用其双向注意力优势和自回归空白填充目标，模型参数为1300亿，语料约训练了4000亿个文本标记，在语义理解和文本生成任务上性能强大。

			
		

	





	

		

			

				
					
深度学习详解：Transformer与GNN的最新进展

				
			

			

				

					
				

			

		

		

			
				
 Prince带领读者逐步理解深度学习的基本概念和最新进展，特别关注了Transformer和图神经网络（GNN）这两种前沿技术。  第1章"Introduction"介绍了深度学习的背景和重要性，强调了其在机器学习领域的核心地位，以及与...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值