cs224n学习3：Subword Models

最新推荐文章于 2024-09-25 22:01:50 发布
最新推荐文章于 2024-09-25 22:01:50 发布
阅读量409 收藏 2
点赞数
文章标签： 自然语言处理 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Rock_y/article/details/107016056
版权

Subword Models


第12课：来自单词部分的信息：子单词模型

  • 1.一小部分语言学
  • 2.纯字符级模型
  • 3.子单词模型：字节对编码和朋友
  • 4.混合字符和单词级别模型
  • 5.fastText

1. 人类语言的声音：Phonetics and phonology

  • Phonetics是声音流–毫无争议的“物理”
  • Phonology假设一小套或几套独特的分类单元：音素或独特的特征
    • 可能是普遍的类型学，但可能是特定语言的实现
    • 类别感知的最佳证据来自语音学

字符级模型

1.单词嵌入可由字符嵌入组成

  • 为未知单词生成嵌入
  • 相似的拼写共享相似的嵌入
  • 解决OOV问题
    2.可以将连接的语言当作字符来处理
    两种方法都已证明非常成功！
    大部分深度学习NLP的工作都是从书面形式的语言开始的-它是易于处理的，容易找到的数据，但是人工语言编写系统不是一回事！

2.纯字符级模型

  • 在上一堂课的句子分类中，我们看到了一个纯字符级模型的好例子：
    用于文本分类的超深度卷积网络
    Conneau，Schwenk，Lecun和Barrault EACL 2017

  • 通过深度卷积堆栈获得强大结果

纯字符级NMT模型

English-Czech WMT 2015成绩

  • Luong和Manning将纯字符级seq2seq（LSTM）NMT系统作为基线进行了测试

  • 在单词级基线上运行得很好

  • 但这是ssllooooww

  • 3周的训练……在运行时不那么快

    English-Czech WMT 2015 实例

无需显式细分的全字符级神经机器翻译
在这里插入图片描述
在LSTM seq2seq模型中具有深度的更强字符结果
在这里插入图片描述

3.子词模型：两种趋势

  • 与单词级模型相同的体系结构：•但使用较小的单元：“单词片段”
  • 混合架构：•主模型有文字；字符的其他东西
    在这里插入图片描述

字节对编码

最初是一种压缩算法：
•最频繁的字节对↦一个新字节。

在这里插入图片描述
分词算法：

  • •尽管是自下而上的聚类
  • •从数据中所有（Unicode）字符的双字词汇开始
  • •最常见的ngram对↦新的ngram
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 确定目标词汇量，并在达到目标词汇量时停止
  • 确定性最长的单词分段
  • 分段仅在某些先前标记器（通常是MT的Moses标记器）标识的词内
  • 自动为系统决定词汇•不再以常规方式强烈使用“单词”
    在这里插入图片描述

单词/句子模型

  • 谷歌NMT (GNMT)使用了它的一个变体

在这里插入图片描述

  • 而不是char n-gram计数，使用贪婪近似最大化语言模型对数似然来选择片段

    添加n个gram，最大限度地减少困惑

  • Wordpiece model在文字内标记

  • Sentencepiece model来源于原始文本
    空格被保留为特殊标记(_)，并正常分组。
    您可以通过连接片段并将它们重新编码为空格来在末尾反转内容。

  • BERT使用了Wordpiece model的一种变体

在这里插入图片描述

  • 如果你在一个基于其他词的模型中使用BERT，你就必须处理这个问题

4.字符级来构建单词级

  • 卷积字符生成单词嵌入
  • 固定窗口的单词嵌入用于词性标注
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    更复杂/复杂的方法
    动机：
  • 派生出能够有效跨多种语言的强大、健壮的语言模型。
  • 编码子词相关性:eventful, eventfully, uneventful…
  • 解决先前模型的罕见词问题。
  • 用更少的参数获得可比较的表达性。
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • 论文质疑了使用词嵌入作为神经语言建模输入的必要性。
  • 字符上方的CNN +Highway Network可以提取丰富的语义和结构信息。
  • 关键思想：您可以构成“构建基块”以获得细微而强大的模型！

混合NMT

  • 两全其美的架构：•主要在单词级别进行翻译•仅在需要时转到字符级别
  • 对BLEU的复制机制进行了超过2处改进，以尝试填写稀有单词
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    完美的翻译！
    在这里插入图片描述
    基于字符的：错误的名称翻译
    在这里插入图片描述
    基于单词：不正确的对齐方式
    在这里插入图片描述
    基于字符的字符和混合字符：diagnózen的正确翻译
    在这里插入图片描述
    基于单词：身份复制失败
    在这里插入图片描述
    混合：正确，11岁–Jedenáctiletá
    错误：.ShaniBartová

5.单词嵌入的字符

词嵌入和词形态联合模型（Cao和Rei，2016年）

  • 与w2v相同，但使用字符
  • 双向LSTM来计算嵌入
  • 模型试图捕获形态
  • 模型可以推断词根
    在这里插入图片描述
    FastTextembeddings在这里插入图片描述
  • 目标：下一代高效的类似于word2vec的单词表示库，但更适合于具有很多形态的稀有单词和语言
  • 带有字符n-gram的w2v跳过语法模型的扩展
  • 在这里插入图片描述
    在这里插入图片描述
    单词相似性数据集得分（相关性）
    在这里插入图片描述
    稀有词的差别收益

参考

Stanford CS224N NLP with Deep Learning Winter 2019 课件

Rock_y
关注
CS224N学习笔记（十二）Subword Models
rocking_struggling的博客
05-02 511
1.引入 课程首先花了很多时间说明了一下语言的特点和语言词汇内部的结构相关，比如英语的发音（Phonetics and phonology）还有英语的词法（Morphology）。 另外，不同语言的写作表达的不同也体现在，词汇的内部结构上。这些都为sub-word NLP模型提供了一定的形式上的基础。 常规的word level model还需要解决大量的词汇问题，包括：复杂的词法词，人民词的音译...
自然语言处理 cs224n 2019 Lecture 12: Information from parts of words: Subword Models课程笔记
qq_33908388的博客
07-21 317
课程内容 语言学的一点小知识 纯粹的字符级别的模型 子单词模型：Byte Pair Encoding and friends Hybrid character 和单词级的模型 fastText (这节课也没怎么听懂，以后要边听边做笔记了) 一、人类语言声音：语音学和音系学 语音学是音流，这是属于物理层面的东西 词法学：一个n-grams的代替方案 在基于单词的模型中存在一些...
cs224n学习笔记 03:Subword Models（fasttext附代码）
weixin_45684408的博客
06-29 404
课程内容 语言学的一点小知识 词级字符级模型 n-gram思想 FastText模型 1 、人类语言声音：语音学和音系学 语音学是音流，这是属于物理层面的东西 词法学：一个n-grams的代替方案 在基于单词的模型中存在一些问题： 需要处理很大的词汇表，在英语中单词只要变个形态就是另一个单词了，比如说：gooooood bye 字符级别模型 单词嵌入可以由字符嵌入表示： 能为不知道的单词生成嵌入 相似的拼写有相似的嵌入 解决了oov问题 传统来说，一个因素或者一个字母不是一个因素单元，但是深度语言模
cs224n学习笔记--Subword Models
weixin_44336181的博客
06-30 2074
Subword Models 基于词级的模型（word-level Model） 使用基于单词的模型时需要处理规模庞大的词汇表，例如Word2Vec，是利用word embedding的方法来得到每一个word的vec，这种方法需要去处理规模庞大的词汇表。这种方式虽然效果不错，但是对于单词而言，只要稍微做些改变就是另一个单词了。造成的后果： OOV(out-of-vocabulary)出现单词不存在于词汇库中的情况。解决方法：最佳语料规模，使系统能够获得更多的词汇量； 拼写错误。解决方法：矫正或加规则约束
【2019斯坦福CS224N笔记】（12）Information from parts of words: Subword Models
abcgkj的博客
08-06 359
csdn：https://blog.csdn.net/abcgkj github：https://github.com/aimi-cn/AILearners 目前在NLP领域中，主要采用word level和character leve语言建模。接下来我们将分别讲解这两种模型。 基于词级模型 词级语言建模是指把词作为文本信息的最小单位。在语义空间中，单词就好像是空间中的一个节点。在这种情况下，通过...
2019年CS224N课程笔记-Lecture 12: Subword Models
任萌新的小生活
07-24 727
资源链接：https://www.bilibili.com/video/BV1r4411 正文内容 人类语言声音：语音学和音韵学（Phonetics and phonology） （课件内容，不是很懂。。。） Phonetics 语音学是一种音流——物理学或生物学 Phonology 语音体系假定了一组或多组独特的、分类的单元：phoneme音素 或者是独特的特征 这也许是一种普遍的类型学，但却是一种特殊的语言实现 分类感知的最佳例子就是语音体系 音位差异缩小；在音素之间被放大 ...
CS224N笔记 Lecture12 Subword Models
奉现的博客
06-30 201
0 大纲 A tiny bit of linguistics Purely character-level models Subword-models: Byte Pair Encoding and friends Hybrid character and word level models FastText 1 人类语言发音：语音（Phonetics）和语音学（Phonology） 语音（Phonetics）是发音流–是一种毫无争议的"物理信息"。 语音学由一小部分或几组独特的类别单元组成：音素
Task 3: Subword Models （附代码）（Stanford CS224N NLP with Deep Learning Winter 2019）
南有芙蕖
06-29 7587
Task 3: Subword Models 目录Task 3: Subword Models 理论部分 回顾 word2vec 和 glove，并介绍其所存在问题 介绍 n-gram 思想 介绍 FastText 模型 回顾： word2vec 和 glove，并介绍其所存在问题 GloVe (global vectors for word representation) 与word2vec，两个模型都可以根据词汇的 “共现 co-occurrence” 信息，将词汇编码成一个向量（所谓共现，即语料中
NLP学习-Task 3: 子词模型Subword Models
iiVax的博客
06-30 1020
NLP学习 更新流程↓ Task 1: 简介和词向量Word Vectors Task 2: 词向量和词义Word Senses Task 3: 子词模型Subword Models Task 4: Contextual词嵌入 Task 5: 大作业 日本人综艺感从昭和时代开始就这么强了吗？ 今日份的舒适 常见餐桌礼仪 子词模型Subword Models 文章目录0. 有关语言学(linguistics)的启发1. Word-Level Models(单词级模型)2. Character-Leve.
CS224n-Lecture12-Information from parts of words (Subword Models)
咸鱼的小站
12-19 384
(shift，图片复制转存失败问题搞不定，复制黏贴写在本地的文章是真的被恶心到了) 综述 Lecture 12: Information from parts of words: Subword Models 来自单词内部分的信息，子词模型 1. A tiny bit of linguistics (10 mins) 语言学的简单介绍 2. Purely character-level models (10 mins) 纯字级别的模型 3. Subword-models: Byte Pair E
【cs224n-11】Contextual Word Representations: BERT
u011613991的专栏
05-24 383
词嵌入是NLP深度学习的基础，以Word2Vec、Glove和FastText为代表的静态词向量为文本在神经网络中的表示提供了一种强有力的工具。然而这种静态的词嵌入存在的问题是，以上下文无关的方式应用，对每个单词仅有一种表示，而通常单词的含义依赖于其上下文会有所不同，而且每个单词不仅有一方面特征，而应有各方面特征如语义特征，语法特征等。解决的方式是，在文本语料库上训练上下文表示。 静态表示： 上下文动态表示： 上下文表示发展过程： 1.Semi-Supervised...
AI人工智能深度学习算法：智能深度学习代理的自然语言处理运用
程序员光剑
07-26 440
自然语言处理（Natural Language Processing，NLP）作为人工智能和语言学的交叉领域，在近年来取得了巨大的进展。随着深度学习技术的rapid发展，特别是基于神经网络的方法，NLP已经成为了AI领域最活跃和最具前景的研究方向之一。智能深度学习代理在NLP任务中的应用，不仅极大地提高了语言理解和生成的能力，还为人机交互、信息检索、机器翻译等领域带来了革命性的变革。本文将深入探讨智能深度学习代理在自然语言处理中的运用，从基本概念到核心算法，再到实际应用和未来展望，全面阐述这一前沿技术的方方
CS224N-子词模型（subwords）
qlzy的博客
05-10 1062
文章目录一、语言学知识（linguistics）语音学与音韵学形态学（Morphology）人类语言书写系统二、Subword ModelByte Pair EncodingWord piece modelSentence piece model三、Subword-level language model模型实现：《Character-Aware Neural Language Models》四、Hybrid NWT五、Character-level 说明：本博文用于记录学习斯坦福CS224N的相关笔记，其
大型语言模型 (LLM) 劫持攻击不断升级，导致每天损失超过 100,000 美元
网络研究观
09-20 1424
这一趋势反映了 LLM 访问黑市的不断增长，攻击者的动机包括个人使用和规避禁令和制裁。LLMjacking 的频率和复杂性不断提高，给云用户带来了巨大的财务和安全风险。
【NLP】基于“检测器-纠错器”中文文本纠错框架
最新发布
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
09-25 522
许多方法将中文拼写纠正（检测和纠正给定中文句子中的错误字符）视为序列标注任务，并在句子对上进行微调。一些方法使用错误检测器作为初步任务，然后将检测结果用于辅助后续的错误纠正过程。然而，现有方法在使用检测器时存在一些问题，如检测器性能不足或检测信息未能有效应用于纠正过程。难点：中文拼写纠正的难点在于中文是由象形文字组成的，字符的形状和发音与其意义密切相关。此外，中文句子通常由连续的字符组成，没有分隔符，这使得CSC方法必须基于上下文信息来辨别错误，而不是直接从独立的词语中查找拼写错误。
【NLP】循环神经网络--RNN学习.day3
alb3117149013的博客
09-25 739
循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据的深度学习模型。与传统的静态神经网络相比，RNN 可以有效处理输入数据的时间序列特性。这使得 RNN 在处理自然语言处理（NLP）、时间序列预测、音频处理等任务时非常有效。以下是对 RNN 的详细解释。
[大语言模型-论文精读] ACL2024-长尾知识在检索增强型大型语言模型中的作用
09-24 943
RAG主要关注通过检索到的信息来改善LLMs的回答质量，而很少关注LLMs真正需要回答原始查询的类型知识。作者提出，长尾知识对RAG至关重要，因为在大规模预训练期间LLMs已经记住了常见的世界知识。基于此观察，作者提出了一种简单但有效的长尾知识检测方法，引入了一种新的基于统计和语义的生成预期校准误差（GECE）指标来衡量知识的“长尾性”。大语言模型，LLM， 长尾知识，检索增强
计算机前沿技术-人工智能算法-大语言模型-最新论文阅读-2024-09-21
09-21 1266
计算机人工智能前沿，大语言LLM GPT，最新研究论文10篇速读。计算机前沿技术，人工智能算法，大语言模型，LLM，提示词，最新论文阅读
NLP基础
weixin_67684635的博客
09-25 541
自然语言处理（Natural Language Processing，简称NLP）是计算机科学、人工智能和语言学交叉领域的一个分支，它致力于使计算机能够理解、解释和生成人类的自然语言。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值