《动手学深度学习》 Task4

最新推荐文章于 2023-04-07 16:49:27 发布
最新推荐文章于 2023-04-07 16:49:27 发布
阅读量217 收藏
点赞数
文章标签： pytorch 深度学习 自然语言处理 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yq313210/article/details/104365376
版权
本文探讨了机器翻译的神经网络方法，重点介绍了Encoder-Decoder和Seq2seq模型在处理不定长序列中的应用。此外，还讲解了注意力机制，包括点积注意力和多层感知注意力，并简要提及了Transformer在现代NLP任务中的重要性。
摘要由CSDN通过智能技术生成

1.机器翻译及相关技术

机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译（NMT）。 主要特征：输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。
主要步骤：
1. 数据预处理
将数据集清洗、转化为神经网络的输入minbatch
2.分词
字符串—单词组成的列表
3.建立词典
单词组成的列表—单词id组成的列表

Encoder-Decoder与Seqtoseq模型

当输入和输出都是不定长序列时，我们可以使用编码器—解码器（encoder-decoder）或者seq2seq模型。两个模型本质上都用到了两个循环神经网络，分别叫做编码器和解码器。编码器用来分析输入序列，解码器用来生成输出序列。


易错习题：
1.
选项4错误的原因为：单词转化为词向量是模型结构的一部分，词向量层一般作为网络的第一层。

解析

2.注意力机制与Seq2seq模型

super()的用法


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  yq313210
                
              
            

            

                关注
              
            

        

        

          
      

      









                



	

		

			

				
					
动手学深度学习（李沐） 环境配置：Anaconda3 配置MXNet,gluonbook

				
			

			

				

					自在独行的博客
				

				

					01-16
					
					5779
					
				

			

		

		

			
				
为了动⼿学深度学习，我们需要获取本书代码，安装并运⾏ Python、MXNet、gluonbook、Jupyter notebook 等⼯具。

Windows ⽤⼾


第⼀步，根据操作系统下载并安装 Miniconda（⽹址：https://conda.io/miniconda.html ），在安装过程中需要勾选“Add Anaconda to my PATH environment v...

			
		

	



                

              
                



	

		

			

				
					
动手学深度学习-循环神经网络进阶（ModernRNN）

				
			

			

				

					water19111213的博客
				

				

					02-17
					
					371
					
				

			

		

		

			
				
参考伯禹学习平台《动手学深度学习》课程内容内容撰写的学习笔记
原文链接：https://www.boyuai.com/elites/course/cZu18YmweLv10OeV/video/qC-4p–OiYRK9l3eHKAju
感谢伯禹平台，Datawhale，和鲸，AWS给我们提供的免费学习机会！！
总的学习感受：伯禹的课程做的很好，课程非常系统，每个较高级别的课程都会有需要掌握的前续基础...

			
		

	



                


  
              

                


	

		

			

				
					
动手学深度学习相关资源网站

				
			

			

				

					zf_14159265358979的博客
				

				

					04-07
					
					205
					
				

			

		

		

			
				
相关资源链接

			
		

	





	

		

			

				
					
动手学深度学习（Pytorch）

				
			

			

				

					赫凯的博客
				

				

					10-23
					
					1090
					
				

			

		

		

			
				
动手学深度学习（Pytorch）



			
		

	



		

			
		



	

		

			

				
					
动手学深度学习（使用Pytorch）网址收藏

				
			

			

				

					weixin_44917183的博客
				

				

					08-30
					
					1376
					
				

			

		

		

			
				
动手学深度学习+Pytorch 网页版学习网址
https://tangshusen.me/Dive-into-DL-PyTorch/#/
配套讲解视频找B站UP：跟李沐学AI
https://space.bilibili.com/1567748478/
（这篇博客记录仅仅为了防止自己某天突然找不到第一个网站了…）

...

			
		

	





	

		

			

				
					
动手学深度学习 Task4 笔记

				
			

			

				

					01-06
				

			

		

		

			
				
机器翻译及相关技术；注意力机制与Seq2seq模型；Transformer 2.15-2.19 一、机器翻译及相关技术 定义： 机器翻译（MT）：将一段文本从一种语言自动翻译为另一种语言，用神经网络解决这个问题通常称为神经机器翻译...

			
		

	





	

		

			

				
					
动手学深度学习Task4

				
			

			

				

					01-20
				

			

		

		

			
				
动手学深度学习Task4主要涵盖了三个关键概念：机器翻译、注意力机制以及Seq2Seq模型，最后提到了Transformer这一革命性的模型。以下是对这些主题的详细解释：  一、机器翻译（Machine Translation, MT） 机器翻译是...

			
		

	





	

		

			

				
					
动手学深度学习 Task5 学习

				
			

			

				

					01-06
				

			

		

		

			
				
卷积神经网络基础；leNet；卷积神经网络进阶 一、卷积神经网络基础 二维互相关运算 二维互相关（cross-correlation）运算的输入是一个二维输入数组和一个二维核（kernel）数组，输出也是一个二维数组，其中核数组...

			
		

	





	

		

			

				
					
动手学深度学习 task_2

				
			

			

				

					01-20
				

			

		

		

			
				
在动手学习深度学习的过程中，理解和掌握过拟合与欠拟合的概念及其处理方法是非常关键的。  过拟合是深度学习中常见的问题，它指的是模型在训练数据上表现得非常好，但在未见过的测试数据上性能下降的情况。这通常是...

			
		

	





	

		

			

				
					
动手学深度学习Task3

				
			

			

				

					01-20
				

			

		

		

			
				
深度学习中的过拟合与欠拟合是模型训练过程中常见的问题，它们直接影响到模型的泛化能力。过拟合指的是模型在训练集上表现良好，但在未见过的测试数据上性能显著下降，这意味着模型过度依赖训练数据的细节，无法很好...

			
		

	





	

		

			

				
					
DAY2-《动手学深度学习》(PyTorch版)

				
			

			

				

					01-07
				

			

		

		

			
				
Task03：
过拟合和欠拟合
一类是模型无法得到较低的训练误差，我们将这一现象称作欠拟合（underfitting）；
	另一类是模型的训练误差远小于它在测试数据集上的误差，我们称该现象为过拟合（overfitting）。 在实践中，我们要尽可能同时应对欠拟合和过拟合。虽然有很多因素可能导致这两种拟合问题，在这里我们重点讨论两个因素：模型复杂度和训练数据集大小。
模型复杂度
为了解释模型复杂度，我们以多项式函数拟合为例。给定一个由标量数据特征x和对应的标量标签y组成的训练数据集，多项式函数拟合的目标是找一个K阶多项式函数

来近似 y。在上式中，wk是模型的权重参数，b是偏差参数。与线性回归

			
		

	





	

		

			

				
					
搞深度学习/图像处理 三个必备网站

				
			

			

				

					u014264373的博客
				

				

					06-03
					
					6496
					
				

			

		

		

			
				
哎，这是个悲伤的故事。猜猜领导对我说过最多的一句话是什么
A： 你很优秀，我看好你
B： 好好干，今年奖金不会少
C： 辛苦了
D： 最近有啥进展
E： 这你都不会啊
F： 这个不对，再改改
很显然，肯定不是A，不然我叹啥气呀????

好了，谜底评论区揭晓~~~
这三个网站，其中有两个我也是知道不久，赶紧分享给大家。作为图像处理科研狗， 拥有这三个工具，纷纷钟 get 前沿技术，论文，数据，还有源码。
如果你还在怕复现论文，找不到相关文献，缺乏医学图像数据，那这三个网站一定要收藏。
-----------

			
		

	





	

		

			

				
					
贴心的深度学习领域必备网址汇总（持续更新）

				
			

			

				

					weixin_45977690的博客
				

				

					02-07
					
					3062
					
				

			

		

		

			
				
持续更新记录下各种有用的杂七杂八的网址

			
		

	





	

		

			

				
					
《动手学深度学习》pytorch版（第三次打卡）

				
			

			

				

					lcx_nanmu的博客
				

				

					02-25
					
					653
					
				

			

		

		

			
				
cv方向
一、目标检测基础
1.目标检测和边界框
%matplotlib inline
from PIL import Image

import sys
sys.path.append('/home/kesci/input/')
import d2lzh1981 as d2l
# 展示用于目标检测的图
d2l.set_figsize()
img = Image.open('/home/kesci...

			
		

	





	

		

			

				
					
动手学深度学习_3

				
			

			

				

					dayday学习的博客
				

				

					02-19
					
					138
					
				

			

		

		

			
				
动手学深度学习_31.过拟合、欠拟合1.1 过拟合、欠拟合的概念1.2. 权重衰减1.3. 丢弃法
1.过拟合、欠拟合
1.1 过拟合、欠拟合的概念
训练误差和泛化误差
在解释上述现象之前，我们需要区分训练误差（training error）和泛化误差（generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意一个测试数据样本上表现出的误差的期望，...

			
		

	





	

		

			

				
					
深度学习不定长文字的识别与定位：车牌号识别(keras)

				
			

			

				

					datayx的文章
				

				

					07-20
					
					1963
					
				

			

		

		

			
				
向AI转型的程序员都关注了这个号????????????大数据挖掘DT机器学习 公众号：datayx使用 基于深度学习的 Spatial Transform 方法，可以让“草书” 字体...

			
		

	





	

		

			

				
					
pytorch处理不定长序列；实现不定长输入的RNN / LSTM / GRU

					
热门推荐

				
			

			

				

					雪的期许
				

				

					03-26
					
					1万+
					
				

			

		

		

			
				
情景描述
As we all know，RNN循环神经网络（及其改进模型LSTM、GRU）可以处理序列的顺序信息，如人类自然语言。但是在实际场景中，我们常常向模型输入一个批次（batch）的数据，这个批次中的每个序列往往不是等长的。
pytorch提供的模型（nn.RNN,nn.LSTM,nn.GRU）是支持可变长序列的处理的，但条件是传入的数据必须按序列长度排序。本文针对以下两种场景提出解决方法。

每个样本只有一个序列：(seq,label)，其中seq是一个长度不定的序列。则使用pytorch训练时，

			
		

	





	

		

			

				
					
python文字识别算法_基于深度学习OCR技术：端到端不定长文字识别CRNN算法详解...

				
			

			

				

					weixin_39749243的博客
				

				

					11-23
					
					646
					
				

			

		

		

			
				
作者：Madcola博客园cnbloghttps://www.cnblogs.com/skyfsm在以前的OCR任务中，识别过程分为两步：单字切割和分类任务。我们一般都会讲一连串文字的文本文件先利用投影法切割出单个字体，在送入CNN里进行文字分类。但是此法已经有点过时了，现在更流行的是基于深度学习的端到端的文字识别，即我们不需要显式加入文字切割这个环节，而是将文字识别转化为序列学习问题.虽然输入的...

			
		

	





	

		

			

				
					
动手学习深度学习——Pytorch版教程系列汇总(长期更新版)

				
			

			

				

					DAOCHI
				

				

					11-20
					
					8092
					
				

			

		

		

			
				
该专栏主要是翻译了官方的动手学习深度学习。。。。。



			
		

	





	

		

			

				
					
动手学深度学习pytorch环境搭建gpu

					
最新发布

				
			

			

				

					09-03
				

			

		

		

			
				
为了在GPU上搭建动手学深度学习pytorch环境，你需要按照以下步骤进行操作。

首先，你需要安装Anaconda来管理你的Python环境。你可以从官方网站 https://www.anaconda.com/ 下载适用于你操作系统的Anaconda安装程序。安装完成后，你可以使用conda命令创建一个新的环境。

接下来，你需要安装CUDA。CUDA是用于支持GPU计算的NVIDIA的并行计算平台和API模型。你可以从NVIDIA的官方网站下载适用于你的显卡型号的CUDA安装程序进行安装。

然后，你需要安装CUDNN。CUDNN是一个针对深度神经网络加速的GPU库。你可以从NVIDIA的开发者网站下载CUDNN并按照安装说明进行安装。

接下来，你可以使用conda命令来安装pytorch。你可以复制以下命令，在新建的环境中输入：

```
conda install pytorch torchvision torchaudio cudatoolkit=11.3 -c pytorch
```

安装完成后，你可以在命令行中输入python进入Python解释器环境，并导入torch模块来测试pytorch的安装。你可以使用以下代码进行测试：

```python
import torch
from __future__ import print_function

x = torch.rand(5, 3)
print(x)

print(torch.cuda.is_available())  # 测试CUDA是否可用
```

这样，你就成功搭建了动手学深度学习pytorch环境，并且可以在GPU上进行深度学习任务了。<span class="em">1</span><span class="em">2</span><span class="em">3</span>
#### 引用[.reference_title]
-  *1* *2* *3* [01 动手学习深度学习-配置环境pytorch](https://blog.csdn.net/qq_44653420/article/details/123883400)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 100%"]
[ .reference_list ]

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值