词嵌入

最新推荐文章于 2024-05-14 10:21:13 发布
最新推荐文章于 2024-05-14 10:21:13 发布
阅读量312 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shenzhiping12/article/details/93795115
版权

词嵌入-----让算法自动的理解一些类似的词（给一些名词起他上一层的名字，看他们到上一层名字的距离）
one-hot的缺点:任何两个one-hot的向量内机为0，无法知道他们的联系和差别，故用特征化的表示来表示每个词，学习这些词的特征和数值
词嵌入可视化------把高维的词嵌入数据嵌入到一个二维空间里，这样就可以可视化了。常用的可视化算法是t-SNEs算法

使用词嵌入做迁移学习

①：从大量的文本集中学习词嵌入
②：用这些词嵌入模型把他迁移到新的只有少量标注训练集的任务中
③：

词嵌入的特性–类比推理

在这里插入图片描述

嵌入矩阵

目标:学习一个嵌入矩阵E。E乘以one-hot向量会得到嵌入向量。
在这里插入图片描述

学习词嵌入

建立一个语言模型是学习词嵌入的好方法
在这里插入图片描述
1800是6个嵌入向量堆在一起得到的
固定的历史窗口：看预测词的前k个词（k为超参数）

Word2Vec算法----学习一个神经语言模型来得到更好的词嵌入

目标：想要使用这个学习问题来学到一个好的词嵌入模型
在这里插入图片描述
困难：分母基数太大
解决：分级的softmax和负采样

分级的softmax

构建平衡树。采用不同的分级来平衡更常见的词和不那么常见的词，这就解决了Skip-Gram的缺点

Skip-Gram和CBOW对比

在这里插入图片描述

负采样

生成训练集的方法：
在这里插入图片描述
学习从x影射到y的监督学习模型：
在这里插入图片描述
负采样:有一个正样本orange和juice，然后会特意生成一系列负样本，所以叫负采样，即用四个负样本训练4个额外的二分类器，在每次迭代中选择4个不同的随机的负样本词去训练算法。

Glove词向量（对比skip-Gram和CBOW）

在这里插入图片描述

情感分析（餐饮评价）

求和或者求平均（嵌入矩阵法）
在这里插入图片描述
用RNN网络（考虑词序）
在这里插入图片描述

词嵌入除偏

偏见：人们在实际中存在的歧视被计算机学习到，但是在训练之后要除去
如图
在这里插入图片描述
步骤
1.辨别出想要减少或想要消除的特定偏见的趋势
2.中和步骤
3.均衡步

shenzhiping12
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
关于词嵌入（Word Embedding）的一些总结
Mason_Chen的博客
11-17 4844
看了课程半天没搞懂词嵌入是啥，梳理一下相关知识。参考： https://www.jianshu.com/p/2fbd0dde8804 https://blog.csdn.net/m0_37565948/article/details/84989565 https://www.cnblogs.com/wkang/p/9611257.html 词嵌入一、关于文本与向量二、One-hot编码三、信息检索(IR)技术·Bag of wordsTF-IDF·Bi-gram 和N-Gram五、词嵌入简介四、分布式表
Word2Vec词嵌入方法总结
qq_44015059的博客
04-18 2953
前言 GCN最大的优势是可以处理非欧氏空间结构的数据，可以同时考虑图结构中节点的特征表示和节点间存在逻辑关系(包括有向图和无向图)，因此基于其的高包容性可以跟许多方法相结合。其中词嵌入方法可以跟GCN结合起来解决实际应用问题。因此此篇文章在于介绍词嵌入方法(word embedding) 1.什么是词嵌入(word embedding) 词嵌入是NLP工作中标配一部分。原始语料是符号集合，计算机是...
词嵌入(word embedding)
最新发布
Vulpes corsac
05-14 59
举个例子，我们可以把“苹果”这个单词映射成一个向量[0.2, 0.9, -0.1, ...]，把“香蕉”映射成[0.5, -0.3, 0.8, ...]，这样计算机在看到向量[0.2, 0.9, -0.1, ...]时，就能够理解这个单词是“苹果”了。如果我们只是用数字表示，那么计算机只能知道它们是不同的单词，无法确定“猫”和“狗”更接近，还是“鱼”和“跑”更接近，因为他们之间的数值都相差1。这需要专门的模型来处理，比如。我们知道，计算机在处理任何形式的数据时，处理的都是数字，更极端点处理的都是。
词嵌入向量（Word Embedding）的原理和生成方法
飘过的春风
09-29 2万+
“无意中发现了一个巨牛的人工智能教程，忍不住分享一下给大家。教程不仅是零基础，通俗易懂，而且非常风趣幽默，像看小说一样！觉得太牛了，所以分享给大家。点这里可以跳转到教程。” Word Embedding 词嵌入向量(WordEmbedding)是NLP里面一个重要的概念，我们可以利用Word Embedding将一个单词转换成固定长度的向量表示，从而便于进行数学处理。本文将介绍Word Emb...
词嵌入（word embedding）（pytorch）
shaodongheng的博客
07-01 3904
文章目录词嵌入代码Skip-Gram 模型如何取词建模模型细节隐层，我们需要的结果输出N Gram模型代码 词嵌入 参考：《深度学习入门之Pytorch》 词嵌入到底是什么意思呢？其实很简单，对于每个词，可以使用一个高维向量去表示它，这里的高维向量和one-hot的区别在于，这个向量不再是0和1的形式，向量的每一位都是一些实数，而这些实数隐含着这个单词的某种属性。这样解释可能不太直观，先举四个例子，下面有4段话： (1)The cat likes playing ball. (2)The kitty lik
【NLP】词嵌入及为什么要这么做
mjiansun的专栏
02-07 1293
作者：数据与智能 链接：https://www.zhihu.com/question/307051604/answer/2146800423 1. 什么是词嵌入？及为什么要这么做？ 机器学习和深度学习等统计算法处理数字。要对文本应用统计算法，你需要将文本转换为数字。例如，你不能将两个词 apples 和 oranges加起来。你需要将文本转换为数字才能对单词应用数学运算。 将文本转换为数字的过程，主要以向量的形式，称为词嵌入。在本章中，你将看到一些最常见的词嵌入方法。以下是一些最常见的词嵌.
词嵌入资源
09-05
词嵌入是自然语言处理领域中的重要技术，它将词汇转换为实数向量，使得计算机可以理解并处理文本数据。在本资源中，“word2vec”是一个关键的标签，表明我们将探讨的是基于该模型的词嵌入方法。Word2Vec是一种深度...
基于词嵌入技术的文本表示研究现状综述_刘胜杰.pdf
04-01
"基于词嵌入技术的文本表示研究现状综述" 基于词嵌入技术的文本表示研究现状综述是自然语言处理领域的重要研究方向之一。随着时代的进步，自然语言处理作为人工智能领域重要的方向之一，也在快速发展。计算机是基于...
L25词嵌入进阶GloVe模型
01-07
词嵌入进阶 在“Word2Vec的实现”一节中，我们在小规模数据集上训练了一个 Word2Vec 词嵌入模型，并通过词向量的余弦相似度搜索近义词。虽然 Word2Vec 已经能够成功地将离散的单词转换为连续的词向量，并能一定程度...
词嵌入原理及应用简介
01-27
词嵌入原理及应用简介.......................................................................................................................................................................................
词嵌入技术
顺其自然~专栏
03-15 232
词嵌入实际上是一类技术，单个词在预定义的向量空间中被表示为实数向量，每个单词都映射到一个向量。举个例子，比如在一个文本中包含“猫”“狗”“爱情”等若干单词，而这若干单词映射到向量空间中，“猫”对应的向量为（0.1 0.2 0.3），“狗”对应的向量为（0.2 0.2 0.4），“爱情”对应的映射为（-0.4 -0.5 -0.2）（本数据仅为示意）。像这种将文本X{x1,x2,x3,x4,x5……xn}映射到多维向量空间Y{y1,y2,y3,y4,y5……yn }，这个映射的过程就叫做词嵌入。
NLP之基于词嵌入(WordVec)的嵌入矩阵生成并可视化
CJK's Blog
09-05 970
嵌入向量=嵌入矩阵∗onehot向量。
嵌入式关键字
u011011827的博客
09-23 1048
如果你想找一份嵌入式工程师的工作,那么下面的知识点你可能要知道,或者要熟练掌握. 以下是在 职位描述 中常见的关键字 c usb sd 网卡 wifi 4G5G nfc zigbee Zwave thread Nbiot 蓝牙 rs232 rs485 can lon tcpip http tls dsp svr arm ucos keil stm32 mcu mips freertos rt-th...
学习笔记 - 《关键词唤醒和嵌入式系统》
Pandade
03-24 2707
摘自清华语音和语言技术中心 KWS评价指标 1）、唤醒率： 在测试过程中被系统正确唤醒的次数除以总的测试次数。 2）、虚警率： 在测试过程中系统不被唤醒的次数除以总的测试次数。 3）、实时率： 系统的反应速度。 4）、功耗水平： 低功耗是系统性能的一个重要指标，与用户体验紧密相关。 方法流程 关键词唤醒分为两个阶段：检测阶段、决策阶段。 第一个阶段：检测阶段。即系统手机关键词在给定的句子中的信息。...
基于PCA和t-SNE可视化词嵌入
TensorFlowNews
10-12 1399
作者|Marcellus Ruben 编译|VK 来源|Towards Datas Science 当你听到“茶”和“咖啡”这个词时，你会怎么看这两个词？也许你会说它们都是饮料，含有一定量的咖啡因。关键是，我们可以很容易地认识到这两个词是相互关联的。然而，当我们把“tea”和“coffee”两个词提供给计算机时，它无法像我们一样识别这两个词之间的关联。 单词不是计算机自然就能理解的东西。为了让计算机理解单词背后的意思，这个单词需要被编码成数字形式。这就是词嵌入的用武之地。 词嵌入是自然语言处理中常用的一种
NLP 利器 Gensim 中 word2vec 模型词嵌入 Word Embeddings 的可视化
AItrust的博客
06-08 1096
本文为系列文章之一，前面的几篇请点击链接： NLP 利器 gensim 库基本特性介绍和安装方式 NLP 利器 Gensim 库的使用之 Word2Vec 模型案例演示 NLP 利器 Gensim 来训练自己的 word2vec 词向量模型 NLP 利器 Gensim 来训练 word2vec 词向量模型的参数设置 NLP 利器 Gensim 中 word2vec 模型的内存需求，和模型评估方式 NLP 利器 Gensim 中 word2vec 模型的恢复训练：载入存储模型并继续训练 NLP 利器 Gens
词嵌入方法
Breeze
03-07 2382
引言 对于自然语言处理任务，我们不能直接使用纯文本字符串作为输出，而是需要将文本字符转化为连续值的向量。 词嵌入的主要思想是将文本转换为较低维度空间的矢量表示。对于这种转化后的向量有两个重要的要求： 较低维度空间：尽量降低编码词向量产生的稀疏性。 保证上下文相似性：为了使语言模型更好的预测文本的含义。 总的来说，词嵌入就是一种**从文本语料库构建低维向量表示的方法，可以保留单词的上下文相似性。...
DeepNLP的表示学习·词嵌入来龙去脉·深度学习（Deep Learning）·自然语言处理（NLP）·表示（Representation）
热门推荐
Mr.Scofield
04-04 3万+
DeepNLP的表示学习·词嵌入来龙去脉·深度学习（Deep Learning）·自然语言处理（NLP）·表示（Representation） 词向量、word embedding、分布式表示、word2vec、glove 术语解释！ 自然语言处理表示学习 词向量、word2vec无门槛理解！ 其实顺便分享下，在我个人的方法论思维中，一个带有完整上下文以及结构构建良好的知识框架，在某种程度上，比一些细枝末节的详细知识点来的重要的多了！因为，一旦构建了一个完备的知识结构框架，那么剩下你要做的是将一些零零碎
diachronic词嵌入
11-14
diachronic词嵌入是一种用于表示词语在不同时期的语境中的含义和使用方式的技术。它通过分析大量的历史语言数据，将词语与其在不同时期的含义和语境联系起来，并将这些关系表示为数学向量。这种方式能够帮助我们理解词语在不同时期的语义变化和语法变化，从而更加全面地把握词语的意义和使用方式。 diachronic词嵌入的应用领域非常广泛，比如在历史语言学研究中，它可以用来追踪词语的语义演变过程，帮助我们理解语言的历史变迁和文化演变；在古籍研究和对历史文化的理解中，它可以帮助我们更好地理解古代文献中的词语含义和使用方式；在文学分析中，它可以帮助解释文学作品中词语的语义变化和隐喻意义。此外，diachronic词嵌入还可以应用于自然语言处理领域，用于改进机器翻译、信息检索和问答系统的性能。 总的来说，diachronic词嵌入是一种强大的工具，能够帮助我们更好地理解语言的演化和变迁，为语言学研究和自然语言处理技术的发展带来新的机遇和挑战。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值