cs224n学习笔记5-MT,LSTMs,Attention,Transformer

已于 2022-03-01 11:25:09 修改
阅读量264 收藏
点赞数 2
分类专栏： 学习笔记 文章标签： 学习 机器翻译 自然语言处理
于 2022-02-27 20:14:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TARO_ZERO/article/details/123150351
版权

目录

传统方法：基于统计的机器翻译

Neural machine translation(NMT) 神经机器学习

基于RNN的编码器&解码器结构

Gated recurrent units(GRU) 门控递归单元

Long-short-term-memories(LSTMs) 长短期记忆模型

Attention 注意力机制

Transformer模型

Sequence model decoders

MT Evaluation 机器翻译评估

场景：machine translation 机器翻译

传统方法：基于统计的机器翻译

分为翻译模型和语言模型两部分，前者完成单词转换（给出可能的单词选择），后者完成语序选择（选择单词并排列成语句）

Neural machine translation(NMT) 神经机器学习

基于RNN的编码器&解码器结构

编码器的最后层隐状态（向量）需要捕获整个句子，随后的每层解码器都只依赖上一层的结果向量

使用交叉熵损失函数

改进思路：编码解码使用不同权值矩阵、更深层次、双向编码、逆向输入单词序列

改进思路：在解码器中，每一层的计算不仅依赖上一层，还依赖编码器的结果向量和上一层输出的单词

最低0.47元/天 解锁文章
TARO_ZERO
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
斯坦福CS224n_自然语言处理与深度学习 笔记
09-28
《斯坦福CS224n：自然语言处理与深度学习》是斯坦福大学开设的一门高级计算机科学课程，专注于自然语言处理（NLP）领域的深度学习技术。这门课程涵盖了广泛的NLP主题，从基础的文本预处理到复杂的深度学习模型，如...
文本分类概念类大总结（机器学习+深度学习）
weixin_42567789的博客
03-23 5782
基础普及： https://zhuanlan.zhihu.com/p/25928551 综述类（有不同算法在各数据集上的性能对比）： Deep Learning Based Text Classification:A Comprehensive Review（20.04） A Survey on Text Classification: From Shallow to Deep Learning（20.08） 复现： https://github.com/wellinxu/nlp_store 总体步骤：.
【NLP】cs224n课程笔记
Jack_Kuo的博客
10-28 1万+
作业1 一、前言自然语言是人类智慧的结晶，自然语言处理是人工智能中最为困难的问题之一，而对自然语言处理的研究也是充满魅力和挑战的。 通过经典的斯坦福cs224n教程，让我们一起和自然语言处理共舞！也希望大家能够在NLP领域有所成就！二、先修知识（学习的过程中可以遇到问题后再复习）了解python基础知识了解高等数学、概率论、线性代数知识了解基础机器学习算法：梯度下降、线性回归、逻辑回归、Softm...
【笔记3-5】CS224N课程笔记 - 依存分析
cindy_1102的博客
04-02 1632
CS224N（五）Dependency Parsing依存语法和依存结构依存分析基于转换的依存分析贪婪转换依存分析 【笔记3-1】CS224N - 深度自然语言处理 【笔记3-2】CS224N - 词向量表示 word2vec 【笔记3-3】CS224N - 高级词向量表示 【笔记3-4】CS224N - 分类与神经网络 CS224n：深度学习的自然语言处理（2017年冬季）1080p http...
cs224n 2019 Lecture 5: Dependency Parsing课程笔记
qq_33908388的博客
07-09 438
课程目标 语言结构:依赖解析 句法结构:一致性和依赖性 依赖语法和树库 基于过渡的依赖分析 神经依赖分析 一、两种语言结构的观点：短语语法结构=上下文无关文法 短语结构将单词组织成嵌套的成分 单个单词： the, cat, cuddly, by, door 单词连接成短语： the cuddly cat, by the door 短语连接成更大的短语 the cuddly ...
LSTM-CNN-Attention算法系列之一：LSTM提取时间特征
喜欢打酱油的老鸟
04-23 3万+
https://www.toutiao.com/a6682630826011656711/ 2019-04-22 16:20:36 哈喽，大家好！我，人称神秘小马哥又回来了，不知道大家还记不记得上期我的秘密三叉戟，轻松力压股市三大指数。 这期我给大家解密一下我三叉戟的第一根利器，LSTM模型，它在股价预测中更优于传统计量模型，并在语音识别，语...
斯坦福CS224n_自然语言处理与深度学习_笔记
07-15
《斯坦福CS224n：自然语言处理与深度学习》是斯坦福大学开设的一门课程，专注于利用深度学习技术解决自然语言处理（NLP）问题。这门课程的笔记全面覆盖了NLP领域的核心概念、算法以及最新的研究进展。通过深入学习这...
cs224n-2019-winter:CS224n的所有讲义，幻灯片和作业
05-23
《CS224n-2019-Winter：深度学习与自然语言处理》 斯坦福大学的CS224n课程是深度学习领域的一门重要课程，专注于自然语言处理（NLP）。2019年冬季的版本包含了丰富的学习资源，如讲义、幻灯片和作业，为学生提供了...
cs224n-2019-lecture01课件.pdf
08-23
CS224N是斯坦福大学的一门课程，专注于自然语言处理（NLP）与深度学习的结合。这门课程由Christopher Manning教授主讲，并有Abigail See作为首席助教和共同讲师，以及一系列优秀的助教团队。课程的时间安排在每周二...
CS224N-2019:我为CS224N 2021和2019完成的实施解决方案
05-12
CS224N-2019和2021 闪亮的新事物：我已经在2021年更新了此解决方案，其中包括： 作业1中的新词嵌入分析 关于预训练和合成器变压器的新作业5 简化的NMT分配4 我的CS224N 2019解决方案 课程连结 课程页面 讲座...
dl4mt：lstm语言模型训练，代码讲解
u011684265的专栏
06-30 2585
Github代码链接：https://github.com/nyu-dl/dl4mt-tutorial/blob/master/session0/lm.py # -*- coding: utf-8 -*- ''' Build a simple neural language model using GRU units ''' import theano import theano.tenso
深度学习 —— LSTM
wangli0519的博客
06-06 4062
摘要 这里提供一个使用Theano来实现循环神经网络（RNN）的长短期记忆（LSTM）结构。模型被用来执行Large Movie Review Dataset（即IMDB数据集）中电影评论的情感分析。 任务中，给定一个电影评论，模型尝试预测它是正面还是负面的。这是一个二分类问题。 数据 如前提及，提供的脚本被用来训练LSTM循环神经网络。数据集是公开的，我们提供了一个已预处理的版本以适应L
通过NMT训练的通用语境词向量：NLP中的预训练模型？
修行2017
08-09 3141
转载请注明出处：乐投网-通过NMT训练的通用语境词向量：NLP中的预训练模型？ 自然语言处理（NLP）这个领域目前并没有找到合适的初始化方法，它不能像计算机视觉那样可以使用预训练模型获得图像的基本信息，我们在自然语言处理领域更常用的还是随机初始化词向量。本文希望通过 MT-LSTM 先学习一个词向量，该词向量可以表征词汇的基本信息，然后再利用该词向量辅助其它自然语言处理任务以提升性能。本文先
深度学习：长短期记忆模型LSTM
皮皮blog
10-27 4万+
http://
知乎--LSTM（挺全的）
热门推荐
战斗蜗牛的专栏
05-12 7万+
首页发现话题 登录 加入知乎 有哪些LSTM(Long Short Term Memory)和RNN(Recurrent)网络的教程？ 关注问题写回答 互联网 机器学习 深度学习（Deep
LSTM实现详解
cdj0311的专栏
09-15 3301
前言 在很长一段时间里，我一直忙于寻找一个实现LSTM网络的好教程。它们似乎很复杂，而且在此之前我从来没有使用它们做过任何东西。在互联网上快速搜索并没有什么帮助，因为我找到的都是一些幻灯片。 幸运地是，我参加了Kaggle EEG 竞赛，而且我认为使用LSTM很有意思，最后还理解了它的工作原理。这篇文章基于我的解决方案，使用的是Andrej Karpathy的char-rnn代码，
cs224n学习笔记L8:机器翻译(MT)、Seq2Seq、Attention
三七的博客
06-18 401
文章目录一、机器翻译1.1 基于规则1.2 基于概率(statistical)统计（SMT）1.2.1 P(x|y)的学习1.3 神经网络机器翻译(NMT)1.3.1 seq2seq结构1.3.2 seq2seq模型训练1.3.3 贪心解码1.3.4 穷举(exhaustive)搜索解码1.3.5 启发式搜索方法：Beam Search1.3.6 NMT优势与缺点1.3.7 模型验证1.3.8 N...
Lumos学习王佩丰Excel第四讲：排序与选择
最新发布
Sunshine_XX的博客
07-10 278
自定义排序演示：工资条拆分的演示：如果遇到很长的表，标题只存在于顶端，打印出来观感不好，可以这样做：有些版本的excel复制筛选数据容易把背后隐藏的所有数据都复制上去，这时可选中定位条件的“可见单元格”选项，复制粘贴即可。并排表示且，错排表示或。ctrl+shift+↓+→全选，演示说明：回头学原理，先记住一句话，要想筛选对，条件表头不要对。
Autoware.universe 高效学习第三章 -- 智驾技术务虚会之智驾技术栈讨论 其一
cy1641395022的博客
07-10 669
Autoware.universe 高效学习第三章 -- 智驾技术务虚会之智驾技术栈讨论 其一
深度学习-transformer解读
02-04
Transformer模型是深度学习领域的一个重要突破，尤其是在自然语言处理（NLP）任务中，它由Google的研究人员在2017年的论文《Attention is All You Need》中提出。Transformer的核心创新在于使用Self-Attention机制...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值