CS224n学习笔记 12_Subword Models

最新推荐文章于 2024-05-20 20:26:39 发布
最新推荐文章于 2024-05-20 20:26:39 发布
阅读量425 收藏 2
点赞数 1
分类专栏： Datawhale学习笔记 文章标签： python 深度学习 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/duxiaodong1122/article/details/107052354
版权

CS224n学习笔记 12

Human language sounds: Phonetics and phonology

Phonetics 语音学是一种音流——物理学或生物学。 Phonology 语音体系假定了一组或多组独特的、分类的单元：phoneme音素或者是独特的特征;这也许是一种普遍的类型学，但却是一种特殊的语言实现。
在这里插入图片描述

Character-Level Models

词嵌入可以由字符嵌入组成

  • 为未知单词生成嵌入
  • 相似的拼写共享相似的嵌入
  • 解决OOV问题

连续语言可以作为字符处理：即所有的语言处理均建立在字符序列上，不考虑 word-level

Below the word: Writing systems

大多数深度学习NLP的工作都是从语言的书面形式开始的——这是一种容易处理的、现成的数据

但是人类语言书写系统不是一回事！各种语言的字符是不同的！

在这里插入图片描述

Purely character-level models

Purely character-level NMT models

  • 以字符作为输入和输出的机器翻译系统
  • 最初，效果不令人满意 (Vilaret al., 2007; Neubiget al., 2013)
  • 只有decoder（成功的）(JunyoungChung, KyunghyunCho, YoshuaBengio. arXiv 2016)
  • 然后有前景的结果
    • (Wang Ling, Isabel Trancoso, Chris Dyer, Alan Black, arXiv 2015)
    • (Thang Luong, Christopher Manning, ACL 2016)
    • (Marta R. Costa-Jussà, José A. R. Fonollosa, ACL 2016)

Fully Character-Level Neural Machine Translation without Explicit Segmentation

Jason Lee, KyunghyunCho, Thomas Hoffmann. 2017.

编码器结构如下图所示，而解码器是一个字符级的GRU：
在这里插入图片描述

Sub-word models: two trends

Character-Level model大体可以分为两个趋势：一种是与word-level model相同的架构
但是使用更小的单元——word pieces，只不过是输入不同，另一种是hybrid模型，主模型使用word-level model，其他模型使用character-level model。

Byte Pair Encoding

  • 有一个目标词汇量，当你达到它的时候就停止
  • 做确定性的最长分词分割 分割只在某些先前标记器(通常MT使用的 Moses tokenizer)标识的单词中进行
  • 自动为系统添加词汇 不再是基于传统方式的 strongly “word”
  • 2016年WMT排名第第一，仍然广泛应用于2018年WMT

在这里插入图片描述在这里插入图片描述

Character-Aware Neural Language Models

Yoon Kim, Yacine Jernite, David Sontag, Alexander M. Rush. 2015

  • 一个更复杂/精密的方法
  • 动机
    • 派生一个强大的、健壮的语言模型，该模型在多种语言中都有效
    • 编码子单词关联性：eventful, eventfully, uneventful…
    • 解决现有模型的罕见字问题
    • 用更少的参数获得可比较的表达性
      模型结构如下：
      在这里插入图片描述
      在这里插入图片描述

Hybrid NMT

  • Abest-of-both-worlds architecture
    • 翻译大部分是单词级别的
    • 只在需要的时候进入字符级别
  • 使用一个复制机制，试图填充罕见的单词，产生了超过 2 BLEU的改进

结构如下图所示：
在这里插入图片描述

JimmyTotoro
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
斯坦福CS224n_自然语言处理与深度学习 笔记
09-28
网上找到《斯坦福CS224n_自然语言处理与深度学习_笔记_hankcs》，发现确实十分有用，对于想学习NLP的人来说，有巨大的帮助。故，特此分享。感谢笔记作者。
多语言机器翻译 | (1)多语言翻译模型简介
sdu_hao的博客
03-07 4074
低资源机器翻译面临的主要挑战是缺乏大规模高质量的双语数据。这个问题往往伴随着多语言的翻译任务[1]。也就是，要同时开发多个不同语言之间的机器翻译系统，其中少部分语言是富资源语言，而其它语言是低资源语言。针对低资源语言双语数据稀少或者缺失的情况，一种常见的思路是利用富资源语言的数据或者系统帮助低资源机器翻译系统。这也构成了多语言翻译的思想，并延伸出大量的研究工作，其中有三个典型研究方向：基于枢轴语言的方法[2]、基于知识蒸馏的方法[3]、基于迁移学习的方法[4,5]，下面进行介绍。 1. 基于枢轴语言的方法
论文翻译-语音合成：Tacotron
weixin_33782386的博客
02-09 370
2019独角兽企业重金招聘Python工程师标准>>> ...
CS224n自然语言处理（三）——问答系统、字符级模型和自然语言生成
weixin_45325331的博客
01-19 1145
文章目录一、问答系统1.Stanford Question Answering Dataset (SQuAD)2.Stanford Attentive ReaderStanford Attentive Reader++3.BiDAF二级目录三级目录 一、问答系统 问答系统(Question Answering)实际需求很多，比如我们常用的谷歌搜索就可看做是问答系统。通常我们可以将问答系统看做两部分：从海量的文件中，找到与问题相关的可能包含回答的文件，这一过程是传统的information retrieval
深度学习论文
热门推荐
gdtop的个人笔记
02-24 1万+
一、ImageNet Evolution 以下五篇论文是深度学习的破冰著作，见证了卷积神经网络越来越深，效果越来越好，其中ResNet更是在原始网络结构上有了新的突破~~ [Nature15] Deep Learning：摘自Yann LeCun和Youshua Bengio以及GeoffreyHinton三人合著发表在nature2015的论文 [NeurIPS12] ImageNet ...
Deep Learning Papers Reading Roadmap
zhuzhu的博客
10-28 703
原文链接地址：https://github.com/YanhuiJoe/Deep-Learning-Papers-Reading-Roadmap If you are a newcomer to the Deep Learning area, the first question you may have is "Which paper should I start reading
斯坦福CS224n_自然语言处理与深度学习_笔记
07-15
斯坦福CS224n_自然语言处理与深度学习_笔记，这是斯坦福 CS224n 的笔记，可以系统地学习用深度学习来做自然语言处理。
cs224n学习笔记
05-08
详细描述第8课的笔记Recurrent Neural Networks and Language Models
cs224n学习笔记L2:word vectors and word senses
01-06
cs224n学习笔记L1:自然语言处理简介 文章目录一、课堂计划二、 词向量计算方法2.1 回顾word2vec计算2.2 word2vec中计算方法详解2.3 高频词(the)引起的问题三、优化基础3.1 梯度下降3.2 随机(stochastic)梯度下降...
CS224n全部中文笔记合并且带标签
12-09
CS224n自然语言处理也是斯坦福大学的公开课，深度学习入门的好助手，网易云课堂有视频中英文字幕。这个是中文笔记合并且带有标签，非常方便查看；欢迎留言一起来学习深度学习吧
CBHG 模块 来自TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS
yang_daxia的博客
11-09 4732
  作者的灵感来源于在文章Fully Character-Level Neural Machine Translation without Explicit Segmentation中的模型。原型如下图所示： CBHG模块如下图所示。首次提出在Goggle的一篇文章：TACOTRON: TOWARDS END-TO-END SPEECH SYNTHESIS     回到CBHG模...
Lecture 12: Information from parts of words: SubwordModels
weixin_42017042的博客
02-08 487
文章目录Human language sounds: Phonetics and phonologyPurely character-level modelsSub-word models: two trends Human language sounds: Phonetics and phonology 人类语言声音：语音学和音韵学 Phonetics 语音学是声音流——毫无争议的“物理学”...
ACL 2016&2015 Accepted Papers
柳汀轩
11-20 1万+
1.ACL 2016 Accepted Papers 会议论文 Long PapersA CALL system for learning preposition usage John LeeA Character-level Decoder without Explicit Segmentation for Neural Machine Translation Junyoung Chung,
128篇论文，21大领域，深度学习最值得看的资源全在这里
CSDN 人工智能
07-06 9540
本文来源：AI科技大本营（rgznai100） 参考 - https://zhuanlan.zhihu.com/p/23080129 从全局到枝干、从经典到前沿、从理论到应用、还有最新的研究…，所有你不需要的需要的，现在不需要的未来需要的，你不需要的周边小伙伴需要的…反正全都在这了。对于大多数想上手深度学习的小伙伴来说，“我应当从那篇论文开始读起？”这是一个亘古不变的话题。而对那些已经...
如何开启深度学习之旅？这三大类125篇论文为你导航（附资源下载）
牧野的博客
03-22 710
原文链接： https://www.jiqizhixin.com/articles/2017-03-06-2如果你现在还是个深度学习的新手，那么你问的第一个问题可能是「我应该从哪篇文章开始读呢？」在 Github 上，songrotek 准备了一套深度学习阅读清单，而且这份清单在随时更新。至于文中提到的 PDF，读者们可点击阅读原文下载机器之心打包的论文，或点开下面的项目地址下载自己喜欢的学习材料...
Neural Machine Translation（NMT）技术概述
guoyuhaoaaa的博客
02-11 7679
在神经网络语言模型处理NLP领域，我做的研究一直都和文本分类相关，其实还有很多其他的应用领域，比方说：语言翻译、词性标注、命名实体识别等。感觉还是有必要了解一下如何用神经网络语言模型对这些应用进行建模的。因此，这几天看了几篇有关Neural Machine Translation（NMT）的论文，对这个领域基本有了比较全面、正确的认识。在这个过程中，正好学习了业界最流行的attention思想，下面
[持续更新] 神经机器翻译论文汇总 Papers on Neural Machine Translation
Riddlesky的专栏
02-15 5009
[持续更新] 神经机器翻译论文汇总Papers on Neural Machine Translation 博主在这里尽可能地整理些神经机器翻译相关的重要论文，大概按照下面的条目分类，不同类别中有互相覆盖的~ 另外作者根据 个人喜好，个人喜好，个人喜好 给一些 靠近知识树根节点的 or 开辟新领域的 or 实验超完整的 or 原作者公布源代码的 or 几乎终结某领域的 论文打了星号（★）作为评分，
【hackmyvm】Slowman靶机
最新发布
woshicainiao666的博客
05-20 286
发现/secretLOGIN/login.html为登录地址，根据账号密码登录发现一个zip，但是需要密码。在FTP中得到的账号，爆破一下SSH。上传linpeas.sh文件，报一下。SSH爆破无果，试试mysql。得到用户名和加密的密码。
使用Python操作excel单元格——在单元格中插入公式
xll_007的博客
05-16 695
使用Python操作excel单元格——在单元格中插入公式。 通过使用Python的openpyxl库，来操作excel单元格，在单元格中插入公式的操作。把学习的过程分享给大家。大佬勿喷！
cs231n two_layer_net
03-16
cs231n的two_layer_net是一个简单的神经网络模型，由两个全连接层组成。它可以用于图像分类任务，通过反向传播算法来训练模型，使其能够对图像进行分类。该模型的输入是图像的像素值，输出是图像所属的类别。在训练过程中，模型会不断调整权重和偏置，以最小化损失函数，从而提高分类的准确率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

JimmyTotoro

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值