FastText词嵌入的可视化指南

最新推荐文章于 2023-11-22 21:33:13 发布
最新推荐文章于 2023-11-22 21:33:13 发布
阅读量974 收藏 3
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011984148/article/details/107218502/
版权

点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”

作者：Amit Chaudhary

编译：ronghuaiyang

导读

非常清楚的解释了FastText的来龙去脉。

单词嵌入是自然语言处理领域中最有趣的方面之一。当我第一次接触到它们时，对一堆文本进行无监督训练的简单方法产生了显示出语法和语义理解迹象的表示，这很有趣。

在这篇文章中，我们将探索由Bojanowski等人介绍的名为“FastText”的单词嵌入算法，并了解它是如何对2013年的Word2Vec算法进行增强的。

词表示的直觉

假设我们有下面的单词，我们想把它们表示成向量，这样它们就可以用于机器学习模型。

Ronaldo, Messi, Dicaprio

一个简单的想法是对单词进行独热编码，其中每个单词都有一个唯一的位置。


isRonaldoisMessiisDicaprio
Ronaldo100
Messi010
Dicaprio001

我们可以看到，这种稀疏表示没有捕捉到单词之间的任何关系，而且每个单词都是相互独立的。

也许我们可以做得更好。我们知道Ronaldo和Messi是足球运动员，而Dicaprio是演员。让我们使用我们的世界知识并创建手动特征来更好地表示这些单词。


isFootballerisActor
Ronaldo10
Messi10
Dicaprio01

这比之前的独热编码更好，因为相关的项在空间上更接近。

Related words closer in space

我们可以继续添加更多的方面作为维度来获得更细微的表示。


isFootballerisActorPopularityGenderHeightWeight…
Ronaldo10……………
Messi10……………
Dicaprio01……………

但是为每个可能的单词手动这样做是不可扩展的。如果我们根据我们对单词之间关系的认知来设计特征，我们能在神经网络中复制同样的特征吗？

我们能让神经网络在大量的文本语料库中进行梳理并自动生成单词表示吗？

这就是研究词嵌入算法的目的。

Word2Vec回顾

2013年，Mikolov等提出了一种从大量非结构化文本数据中学习单词向量表示的有效方法。这篇论文从语义分布的角度实现了这个想法。

你可以通过这个单词和哪些单词在一起出现来了解这个单词 — J.R. Firth 1957

由于相似的单词出现在相似的上下文中，Mikolov等人利用这一观点制定了表征学习的两个任务。

第一种方法叫做“连续词包（Continuous Bag of Words）”，它预测相邻词的中心词。

第二项任务叫做“Skip-gram”，在这个任务中，我们给定中心词，预测上下文词。

Interactive example of skipgram method

学习到的表征具有有趣的特征，比如这个流行的例子，在这个例子中，对单词向量的算术运算似乎保留了意义。

Example of word analogy in word2vec

Word2Vec的局限性

虽然Word2Vec改变了NLP的游戏规则，我们将看到如何仍有一些改进的空间：

  • Out of Vocabulary(OOV)单词：

    在Word2Vec中，需要为每个单词创建嵌入。因此，它不能处理任何在训练中没有遇到过的单词。例如，单词“tensor”和“flow”出现在Word2Vec的词汇表中。但是如果你试图嵌入复合单词“tensorflow”，你将会得到一个词汇表错误。

Example of out of vocab words

  • 形态学：对于词根相同的单词，如“eat”和“eaten”，Word2Vec没有任何的参数共享。每个单词都是根据上下文来学习的。因此，可以利用单词的内部结构来提高这个过程的效率。

Words that have shared radicals

FastText

为了解决上述挑战，Bojanowski等提出了一种新的嵌入方法FastText。他们的关键见解是利用单词的内部结构来改进从skip-gram法获得的向量表示。

对skip-gram法进行如下修正：

1. Sub-word生成

对于一个单词，我们生成长度为3到6的n-grams表示。

  • 我们取一个单词并添加尖括号来表示单词的开始和结束

Adding angular bracket to a word

  • 然后生成长度n的n-grams。例如，对于单词“eating”，从尖括号开始到尖括号结束滑动3个字符的窗口，可以生成长度为3个字符的n-grams。在这里，我们每次将窗口移动一步。

    Interactive example of generating 3-grams

  • 这样，我们就得到了一个单词的n-grams的列表。

3-character n-grams of a word eating

不同长度的字符n-grams的例子如下：

WordLength(n)Character n-grams
eating3<ea, eat, ati, tin, ing, ng>
eating4<eat, eati, atin, ting, ing>
eating5<eati, eatin, ating, ting>
eating6<eatin, eating, ating>

  • 由于存在大量的唯一的n-grams，我们应用哈希来限制内存需求。我们不是学习每个唯一的n-grams的嵌入，而是学习一个总的B嵌入，其中B表示存储桶的大小。文章中用的桶的大小为200万。

    Hash dictionary to store n-grams

    每个字符n-gram被散列到1到b之间的整数，尽管这可能会导致冲突，但它有助于控制词汇表的大小。本文使用Fowler-Noll-Vo散列函数的FNV-1a变体将字符序列散列为整数值。

Hashing function for a n-gram

2. 使用负采样的Skip-gram

为了理解预训练，让我们以一个简单的玩具为例。我们有一个中心词是“eating”的句子，需要预测上下文中的词“am”和“food”。

Skip-gram with window size of 1

1、首先，中心词的嵌入是通过取字符n-grams的向量和整个词本身来计算的。

Summing n-grams with word vector

2、对于实际的上下文单词，我们直接从嵌入表示中获取它们的单词向量，不需要加上n-grams。

Example of context words

3、现在，我们随机采集负样本，使用与unigram频率的平方根成正比的概率。对于一个实际的上下文词，将抽样5个随机的负样本单词。

Example of negative context words

4、我们在中心词和实际上下文词之间取点积，并应用sigmoid函数来得到0到1之间的匹配分数。

5、基于这种损失，我们使用SGD优化器更新嵌入向量，使实际上下文词更接近中心词，同时增加了与负样本的距离。

Goal of negative sampling in skip-gram

论文中的直觉

  • 对于形态丰富的语言(如捷克语和德语)，FastText显著提高了句法词类比任务的性能。


word2vec-skipgramword2vec-cbowfasttext
Czech52.855.077.8
German44.545.056.4
English70.169.974.9
Italian51.551.862.7


  • 与Word2Vec相比，FastText降低了语义类比任务的性能。

Example of semantic analogy


word2vec-skipgramword2vec-cbowfasttext
Czech25.727.627.5
German66.566.862.3
English78.578.277.8
Italian52.354.752.3

  • FastText比常规的skipgram慢1.5倍，因为增加了n-grams的开销。

  • 在单词相似度任务中，使用带有字符ngrams的sub-word信息比CBOW和skip-gram基线具有更好的性能。用子词求和的方法表示词外词比用空向量表示具有更好的性能。



    		skipgramcbowfasttext(null OOV)fasttext(char-ngrams for OOV)
    ArabicWS35351525455

    		GUR35061626470
    GermanGUR6578788181

    		ZG22235384144
    EnglishRW43434647

    		WS35372737171
    SpanishWS35357585859
    FrenchRG6570697575
    RomanianWS35348525154
    RussianHJ69606066

实现

要训练自己的嵌入，可以使用官方CLI工具或使用fasttext实现。

157种语言在Common Crawl和Wikipedia的预训练词向量：https://fasttext.cc/docs/en/crawl-vectors.html，各种英语的词向量：https://fasttext.cc/docs/en/english-vectors.html。

—END—

英文原文：https://amitness.com/2020/06/fasttext-embeddings/#intuition-on-word-representations

请长按或扫描二维码关注本公众号

喜欢的话，请给我个好看吧！

ronghuaiyang
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
fastText：文本分类和词嵌入工具
10-17
快速文本分类，多文本分类， 词嵌入
rtmutex赏析
weixin_34342578的博客
06-21 911
【摘要】 rtmutex作为futex的底层实现，有两个比較重要的特性。一个是优先级继承，一个是死锁检測。本文对这两个特性的实现进行说明。 一、优先级继承 2007年火星探路者号的vxworks上发生了优先级反转。导致设备不断重新启动。 （http://research.microsoft.com/en-us/um/people/mbj/mars_pathfinder/mars_p...
请确保二进制储存在指定的路径中，或者调试他以检查该二进制或相关的DLL文件
董盼山的专栏
08-07 13万+
在安装C++软件的时候，有时候安装失败提示“请确保二进制储存在指定的路径中，或者调试他以检查该二进制或相关的DLL文件”，这个应该是自己的电脑没有安装VC运行库，可以去微软下载安装。 http://www.microsoft.com/downloads/details.aspx?FamilyID=a5c84275-3b97-4ab7-a40d-3802b2af5fc2&DisplayLang=z
【Share 2021】caoyang.log（OLD VERSION）
热门推荐
一只热爱奔跑的程序猿
12-29 17万+
字数溢出，停更
算法0308
最新发布
xingqi4543的博客
11-22 378
目录一级目录二级目录数组中只有012，排序根据字符出现频率排序(0308) 一级目录 二级目录 数组中只有012，排序 根据字符出现频率排序(0308) 题目：给定一个字符串，请将字符串里的字符按照出现的频率降序排列。 示例: 输入: "tree" 输出: "eert" 解释: 'e'出现两次，'r'和't'都只出现一次。 因此'e'必须出现在'r'和't'之前。此外，"eetr"也是一个有效的答案。 代码： class Solution(object): def frequencySor
NLP之词嵌入---（2.2）FastText：文本分类
m0_69483514的博客
09-13 334
这句话是在China Daily ”BUSINESS“板块摘的头条-->对应就是label_3 -->说明模型效果不错。这句话是在China Daily ”WORLD“板块摘的头条-->对应就是label_1 -->说明模型效果不错。2)该数据集包含三列了内容：label、title、text（本实验只取label和text两列。分析：明显该新闻是属于SPORT类，但是模型分类结果为4(SCI/TEC)---结果错误。句子预测依旧是label4：SCI/TEC ---依旧是错误的。
NLP之基于词嵌入(WordVec)的嵌入矩阵生成并可视化
CJK's Blog
09-05 915
嵌入向量=嵌入矩阵∗onehot向量。
Word2Vec词向量训练、使用及可视化操作【保姆级教程（包含藏文处理方法）】
带鱼工作室的博客
02-10 2万+
一、前言 word2vec是静态词向量构建方法的一种，本文将介绍word2vec词向量是如何训练的，以及我们训练好的word2vec词向量如何使用，最后介绍了可视化word2vec词向量，即通过可视化图来查看训练的word2vec质量，本文为保姆级教程，会将数据输入格式等细节一并讲清楚。在开始本文前，首先说下本文使用的gensim版本为3.8.3（使用gensim的word2vec方法训练词向量），为确保进行本文所有流程，请与本文gensim版本一致，避免发生版本问题！本文也将会介绍藏文w...
可视化 nltk_词嵌入：具有Genism，NLTK和t-SNE可视化的Word2Vec
weixin_26752765的博客
09-04 427
可视化 nltk 什么是词嵌入？ (What is Word Embeddings?) In extremely simplified terms, Word Embeddings are the writings changed over into numbers, as there might be diverse numerical portrayals of a similar book....
fastText中的子词嵌入和高效文本分类：简单高效性能好
八门金锁的技术博客
12-01 508
fastText 由Facebook主持的研究。该研究分为两个项目：子词嵌入和高效文本分类。有学者认为fastText只包含高效文本分类，主张它才是该研究的重中之重。不过，在Facebook相关研究的官网，是对两个项目各给出一篇论文的链接。本文以官网为准，对两个模块都进行介绍。 子词嵌入 构词学（morphology）作为语言学的一个重要分支，研究的正是词的内部结构和形成方式。英语单词通常有其内部结构和形成方式。例如，我们可以从“dog”, “dogs” 和 “dogcatcher” 的字面上推测它们的关系
Python-一个简单易用的方式来可视化嵌入Embeddings
08-12
一个简单易用的方式来可视化嵌入Embeddings
word2vec词嵌入简介
06-13
词嵌入直观认识、基本原理、word2vec优化介绍、最后提出了一些基本实验
L25词嵌入进阶GloVe模型
01-07
子词嵌入（subword embedding）：FastText 以固定大小的 n-gram 形式将单词更细致地表示为了子词的集合，而 BPE (byte pair encoding) 算法则能根据语料库的统计信息，自动且动态地生成高频子词的集合； GloVe 全局...
使用预训练的词嵌入：使用预训练的FastText，带有RNN的GlOve词嵌入
02-20
使用预训练的词嵌入：使用预训练的FastText，带有RNN的GlOve词嵌入
fasttext词向量，中文
07-06
著名的fasttext词向量，上Billion个词，每个词N维，可用于深度模型初始化，BERT之后仍有其价值
基于PCA和t-SNE可视化词嵌入
TensorFlowNews
10-12 1378
作者|Marcellus Ruben 编译|VK 来源|Towards Datas Science 当你听到“茶”和“咖啡”这个词时，你会怎么看这两个词？也许你会说它们都是饮料，含有一定量的咖啡因。关键是，我们可以很容易地认识到这两个词是相互关联的。然而，当我们把“tea”和“coffee”两个词提供给计算机时，它无法像我们一样识别这两个词之间的关联。 单词不是计算机自然就能理解的东西。为了让计算机理解单词背后的意思，这个单词需要被编码成数字形式。这就是词嵌入的用武之地。 词嵌入是自然语言处理中常用的一种
NLP系列文章：子词嵌入(fastText)的理解！(附代码)
mantch
08-23 1355
文章目录1. 什么是fastText2. n-gram表示单词3. fastText模型架构4. fastText核心思想5. 输出分类的效果6. fastText与Word2Vec的不同7. 代码实现8. 参考文献 1. 什么是fastText 英语单词通常有其内部结构和形成⽅式。例如，我们可以从“dog”“dogs”和“dogcatcher”的字⾯上推测它们的关系。这些词都有同⼀个词根“dog...
NLP 利器 Gensim 中 word2vec 模型词嵌入 Word Embeddings 的可视化
AItrust的博客
06-08 1078
本文为系列文章之一，前面的几篇请点击链接： NLP 利器 gensim 库基本特性介绍和安装方式 NLP 利器 Gensim 库的使用之 Word2Vec 模型案例演示 NLP 利器 Gensim 来训练自己的 word2vec 词向量模型 NLP 利器 Gensim 来训练 word2vec 词向量模型的参数设置 NLP 利器 Gensim 中 word2vec 模型的内存需求，和模型评估方式 NLP 利器 Gensim 中 word2vec 模型的恢复训练：载入存储模型并继续训练 NLP 利器 Gens
自然语言处理--使用 TensorBoard 可视化词嵌入
糯米君的博客
03-04 547
TensorBoard 是一个可视化词嵌入的好工具。特别是当训练自己的、基于特定领域的词嵌入时，嵌入可视化可以帮助验证语义相似性。将词模型转换为 TensorBoard 可以处理的格式很简单。将词向量和向量标签加载到 TensorBoard 后，它将执行降维到二维或三维的操作。TensorBoard目前提供 3 种降维方法：PCA、t-SNE 和自定义降维。 代码展示了如何将词嵌入转换为 TensorBoard 格式并生成投影数据： import os import tensorflow.compat.v1
FastText生成词向量
05-31
FastText 生成词向量的方法采用了一种叫做“CBOW（Continuous Bag-of-Words）”的模型，它是一种基于神经网络的词向量模型，与 Word2Vec 中的 CBOW 模型类似。CBOW 模型的思想是根据一个词的上下文来预测该词出现的概率，从而训练出每个词的向量表示。 FastText 的 CBOW 模型与 Word2Vec 的 CBOW 模型不同之处在于 FastText 采用了 n-gram 特征，即将每个词拆分成多个子词，并将这些子词看做是独立的单词，从而增加了训练样本的数量。例如，对于单词“apple”，如果采用二元模型，可以将其拆分为“<ap, app, ppl, ple, le>”等 4 个子词和一个整个单词，“apple”。然后，将这些子词的向量加权平均得到整个单词“apple”的向量表示。 FastText 的生成词向量的过程包括以下步骤： 1. 预处理文本数据，将每个单词转化为 n-gram 形式。 2. 根据每个 n-gram 的向量表示，进行 CBOW 模型训练，得到每个 n-gram 的向量表示。 3. 将每个单词的向量表示计算出来，即将其包含的 n-gram 向量加权平均。 4. 在大规模数据集上进行训练，得到词向量模型。 FastText 生成的词向量能够很好地表示单词之间的语义关系，因为它考虑了单词内部的子词信息。同时，由于使用了层次 Softmax 方法，FastText 的训练速度比其他词向量模型更快。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值