Shusen Wang 教程NLP、transformer视频要点

最新推荐文章于 2023-11-19 21:05:21 发布
最新推荐文章于 2023-11-19 21:05:21 发布
阅读量210 收藏 2
点赞数 1
文章标签： 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dao_0123/article/details/115343861
版权
该博客探讨了序列模型在机器翻译和文本生成中的应用，重点关注LSTM、自注意力机制以及去除RNN的方法。作者指出，统计词频并替换为索引能有效处理低频词汇，同时解释了Decoder为何必须采用单向LSTM，并对比了RNN在翻译任务中的角色。
摘要由CSDN通过智能技术生成

https://www.bilibili.com/video/BV17A411e7qL?p=3
Shusen Wang
在这里插入图片描述
先统计词频再排序，替换词频为index，这样可以截取无意义（低频词）在这里插入图片描述
对lstm层的dropout无用，因为是embedding层参数很多
在这里插入图片描述
在这里插入图片描述
decoder必须是单向lstm
self-attention： Long Short-Term Memory-Networks for Machine Reading
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
attention ： Neural Machine Translation by Jointly Learning to Align and Translate

如何去掉RNN
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述感觉和rnn做翻译的步骤一样，就是生成特征的方式不一样，输入输出 都一样，c就是rnn中的状态向量h 在这里插入图片描述在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

ss_go
关注
视频教程-大白话Transformer结构-从此爱上Transformer-深度学习
weixin_34808543的博客
05-28 639
大白话Transformer结构-从此爱上Transformer 李虎，联想...
自己设计一个Transformer模型
m0_50896529的博客
11-15 1782
Transformer模型在2017年被Google提出，直接基于self-attention结构，不再依赖于RNN、LSTM或者CNN，是一种Seg2Seg模型。近些年提出了许多基于Transformer的模型，有学者甚至将这一类模型称为基础模型。 该模型的原始论文为Attention Is All You Need。 0. 如何设计Transformer 阅读该部分需要有Attention基础 在Seg2Seg的基础上：剥离RNN，保留Attention–>Transformer Atte
Reinforcement Learning学习笔记（程序）Shusen Wang老师的深度强化学习系列课程
liu_yu_er的博客
11-22 600
from numpy.random import choice import numpy as np # choice function is a random sampling function sample = choice(['R', 'G', 'B'], size=100, p=[0.2, 0.5, 0.3]) print(np.sum(sample == 'R')) print(np.sum(sample == 'G')) print(np.sum(sample == 'B')) # res
关于这个“这是B站目前讲的最好的【Transformer实战】教程！“视频的目前可以运行的源代码GPU版本
qq_42769818的博客
11-19 780
然后来自这个人的源代码讲解也非常好，和视频一样，我也修改了可以放在GPU运行，代码如下。
李宏毅机器学习课程视频笔记5：Transformer
m0_61819793的博客
08-27 142
李宏毅教授的机器学习课程视频Transformer部分的学习笔记
Shusen Wang NLP课程学习笔记 Transformer + BERT
菜比的博客
08-01 597
Transformer cyq总结，就是博主啦 attention without RNN Original paper Attention is All You Need. In NIPS, 2017 Transformer 是一个 Sep2Sep模型 Transformer不是RNN Transformer的效果完胜RNN，业界已经基本不用RNN了 文章目录TransformerReview of Attention on RNNAttention without RNNAttention Laye
RNN模型与NLP应用.zip
05-19
总结来说，这个视频系列不仅覆盖了RNN的基本原理和应用，还涉及了自然语言处理的最新发展，如Transformer模型，对于想要深入了解NLP和深度学习在文本处理中应用的学习者来说，是一份宝贵的学习资源。
20网络G班韩树森.zip
07-06
20网络G班韩树森.zip
深度强化学习 _Actor-Critic 王树森课程笔记
weixin_44005728的博客
05-18 986
深度强化学习_Actor-Critic 王树森课程笔记
深度强化学习之价值学习-王树森课程笔记
weixin_44005728的博客
05-13 1222
深度强化学习之价值学习-王树森课程笔记
notes1-- 深度强化学习入门到熟练（Shusen Wang）
sinat_38316070的博客
03-24 407
个人觉得讲的蛮好的入门资料，用笔记总结一下。 基本概念 （1）随机变量 Random Variable 大写字母：随机变量 小写字母：观测值 (2) Randomness in RL: Actions have randomness. States transitions have randomness. （3）Return Return UtU_{t}Ut​: cumulative...
notes3-- 深度强化学习入门到熟练（Shusen Wang）
sinat_38316070的博客
03-24 239
Policy-Based RL 用神经网络近似策略函数π\piπ 回顾 State-Value Function Approximation 使用策略网络π(a∣st;θ)\pi(a|s_{t};\theta)π(a∣st​;θ)代替策略函数π(a∣st)\pi(a|s_{t})π(a∣st​) 对SSS求期望，消去SSS，只有θ\thetaθ 策略网络越好，J(θ)J(\theta)J(θ)...
【shusen wang】【课后笔记】深度强化学习(1/5)：基本概念
初学者
03-29 436
1、state and action -当前游戏画面 看作状态。输入当前画面得出动作，环境更新状态，并返回智能体奖励值，如此往复。 -发出动作的主体即为智能体（agent） 2、policy π -用处？观察当前状态，决定agent动作a。 -图片中1：动作A若不确定，π就是概率密度函数。 -图片中2：A确定后，π有固定值，表示为该状态s下选取动作a的概率值。 -图片中3： 状态s下，有多种动作a可供选择，例如2中有向左、向右、向上。 依据他们的概率进行随机抽样。 （并不是选择概率最高的动作，随机抽
notes2-- 深度强化学习入门到熟练（Shusen Wang）
sinat_38316070的博客
03-24 788
Value-based Learning 价值学习 回顾 Deep Q network (DQN) 使用神经网络近似Q∗Q^{*}Q∗ 函数 Approximate the Q Funcition DQN in Super Mario Temporal difference(TD) TD learning for DQN Summary ...
Shusen Wang NLP课程学习笔记 RNN+NLP
菜比的博客
08-01 1858
RNN+NLP学习笔记(点击标题查看视频课程) cyq总结（就是博主啦） 文章目录RNN+NLP学习笔记(点击标题查看视频课程)Data Processing BasicsProcessing Categorical FeaturesProcessing Text DataTokenizationCount Word FrequenciesOne-hot EncodingText Processing and Word Embedding(嵌入)Text to SequenceTokenizetionBui
深度强化学习_ShusenWang_笔记
bijingrui的博客
03-03 463
https://www.bilibili.com/video/BV1rv41167yx 作者是ShusenWang up主（no瞎哔哔）学习笔记https://mp.weixin.qq.com/s/VDSQClM4liO3JzbB48NU9w
Transformer原理与代码精讲（PyTorch）
01-29
Transformer发轫于NLP（自然语言处理），并跨界应用到CV（计算机视觉）领域。目前已成为深度学习的新范式，影响力和应用前景巨大。  本课程对Transformer的原理和PyTorch代码进行精讲，来帮助大家掌握其详细原理和具体实现。  原理精讲部分包括：注意力机制和自注意力机制、Transformer的架构概述、Encoder的多头注意力（Multi-Head Attention）、Encoder的位置编码（Positional Encoding）、残差链接、层规范化（Layer Normalization）、FFN（Feed Forward Network）、Transformer的训练及性能、Transformer的机器翻译工作流程。   代码精讲部分使用Jupyter Notebook对Transformer的PyTorch代码进行逐行解读，包括：安装PyTorch、Transformer的Encoder代码解读、Transformer的Decoder代码解读、Transformer的超参设置代码解读、Transformer的训练示例（人为随机数据）代码解读、Transformer的训练示例(德语-英语机器翻译)代码解读。相关课程： 《Transformer原理与代码精讲（PyTorch）》https://edu.csdn.net/course/detail/36697《Transformer原理与代码精讲（TensorFlow）》https://edu.csdn.net/course/detail/36699《ViT（Vision Transformer）原理与代码精讲》https://edu.csdn.net/course/detail/36719《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768《Swin Transformer实战目标检测：训练自己的数据集》https://edu.csdn.net/course/detail/36585《Swin Transformer实战实例分割：训练自己的数据集》https://edu.csdn.net/course/detail/36586《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045
Transformer原理与代码精讲（TensorFlow）
01-29
Transformer发轫于NLP（自然语言处理），并跨界应用到CV（计算机视觉）领域。目前已成为深度学习的新范式，影响力和应用前景巨大。 本课程对Transformer的原理和TensorFlow 2代码进行精讲，来帮助大家掌握其详细原理和具体实现。 原理精讲部分包括：注意力机制和自注意力机制、Transformer的架构概述、Encoder的多头注意力（Multi-Head Attention）、Encoder的位置编码（Positional Encoding）、残差链接（Residual Connection）、层规范化（Layer Normalization）、FFN（Feed Forward Network）、Transformer的训练及性能、Transformer的机器翻译工作流程。  代码精讲部分使用Jupyter Notebook对Transformer的TensorFlow 2实现代码进行逐行解读，包括：安装TensorFlow、Transformer的数据集加载与预处理代码解读、Transformer的位置编码与多头注意力代码解读、Transformer的Transformer类代码解读、Transformer的优化器与损失函数代码解读、Transformer的训练代码解读、Transformer的推理与权重保存代码解读。相关课程： 《Transformer原理与代码精讲（PyTorch）》https://edu.csdn.net/course/detail/36697《Transformer原理与代码精讲（TensorFlow）》https://edu.csdn.net/course/detail/36699《ViT（Vision Transformer）原理与代码精讲》https://edu.csdn.net/course/detail/36719《DETR原理与代码精讲》https://edu.csdn.net/course/detail/36768《Swin Transformer实战目标检测：训练自己的数据集》https://edu.csdn.net/course/detail/36585《Swin Transformer实战实例分割：训练自己的数据集》https://edu.csdn.net/course/detail/36586《Swin Transformer原理与代码精讲》 https://download.csdn.net/course/detail/37045
王树森：学 DRL 走过的弯路太多，想让大家避开（文末赠送福利）
weixin_40920183的博客
12-12 463
大家都知道，深度强化学习（Deep Reinforcement Learning，DRL）就是应用了神经网络的强化学习。而强化学习是机器学习的一个分支，研究如何基于对环境的观测做出决策，以最大化长期回报。从 20 世纪 80 年代至今，强化学习一直是机器学习领域的热门研究方向。大家耳熟能详的经典强化学习方法——Q 学习、REINFORCE、actor-critic——就是 20 世纪 80 年代提...
王树森 q_learning
最新发布
01-26
王树森的Q学习是一种强化学习算法，广泛应用于机器学习领域。 Q学习是通过不断迭代更新一个称为Q值的表格来实现的。这个表格记录了每个状态和动作组合的Q值，表示在某个状态下，采取某个动作所获得的预期回报。通过...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值