搞懂这个例子，再也不怕词向量了

最新推荐文章于 2024-05-31 16:22:19 发布
最新推荐文章于 2024-05-31 16:22:19 发布
阅读量648 收藏 22
点赞数 20
分类专栏： Transformer 文章标签： 学习 python 算法 人工智能 深度学习 自然语言处理 transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongtuoc/article/details/139076793
版权

大家好啊，我是董董灿。

在学习词嵌入向量的过程中，一个最著名的理解词嵌入向量在高维数学空间的例子，莫过于实现 queen = king - man + women 的数学运算了。

本文将从这个例子出发，解释该例子揭示的词向量背后的隐藏含义，并附上 Python 代码来实现这个高维词向量运算。

Queen = King - man + women

在经过之前文章对于词嵌入向量概念的介绍后，本文来看一下这个有趣的例子。

下面展示的单词“king”的词嵌入向量（该向量是在Wikipedia数据集上使用GolVe训练得到的）。

[ 0.50451 , 0.68607 , -0.59517 , -0.022801, 0.60046 , -0.13498 , -0.08813 , 0.47377 , -0.61798 , -0.31012 , -0.076666, 1.493 , -0.034189, -0.98173 , 0.68229 , 0.81722 , -0.51874 , -0.31503 , -0.55809 , 0.66421 , 0.1961 , -0.13495 , -0.11476 , -0.30344 , 0.41177 , -2.223 , -1.0756 , -1.0783 , -0.34354 , 0.33505 , 1.9927 , -0.04234 , -0.64319 , 0.71125 , 0.49159 , 0.16754 , 0.34344 , -0.25663 , -0.8523 , 0.1661 , 0.40102 , 1.1685 , -1.0137 , -0.21585 , -0.15155 , 0.78321 , -0.91241 , -1.6106 , -0.64426 , -0.51042 ]
该向量共50个数字，单从数字来看，我们并不能看到太多的东西，但是我们用另一种方法来把这些数字进行可视化展示。

方法如下：每个数字如果接近2，则为红色，如果接近0则为白色，如果接近-2则为绿色。

有很多方法可以实现类似的可视化，这里略过，直接看将词向量可视化之后的结果。

图片

接下来，我们忽略上图中的数字，仅关注颜色，并且将一些我们认为含义相近的单词的可视化结果一起展示：

从上图，你是不是能发现一些端倪：women和man在颜色分布上，比women和king更加接近。

我们继续分析，继续放一些更加有关联的单词的可视化结果。

图片

上面放了：queen，king，man，women，boy，girl，water（无关）的可视化结果。我们逐个分析一下:

  • 在中间有一条非常明显的红线，从上到下一直贯穿，这条线代表的数字可能代表了一些信息（但是我们不知道是什么信息。）

  • 你可以看到，women和girl在很多地方颜色很相似，这一点在man和boy的对比上也可以看出来。

  • boy和girl也有一些相似的地方，但是和women以及man相比，又有一些不一致的地方，这些不一致或许说明代表的是“成人”信息。

  • 在最下面增加了water单词的可视化，可以看到在上面有一条蓝色的线从上到下贯穿，一直到water则停止消失了，这条蓝色的线或许代表的是“人类”这种信息。

  • queen和king的对比中，有一些相似但与其他不一致的地方，这些有可能代表了“皇室”的信息。

总之，经过上面的分析，我们可以看出，有相似特征的单词在某些数字（可视化后的颜色）上也会存在相似之处，但并非完全一致。

这代表了token与token之间仅仅在某些维度上是相似的，在其他维度上并不一致，比如“性别”、“皇室”等维度。

上面的例子，我们可以用Python代码来加载词向量，并且在高维数学空间中完成运算，甚至还可以完成“Beijing = China - country + capital”的逻辑运算。

关于如何用 Python代码来实现上述词向量的运算，你可以在这里查看详情：我的Transformer专栏。

我的Transformer专栏来啦-CSDN博客文章浏览阅读572次，点赞12次，收藏5次。现在很多主流的大语言模型，比如chatGPT都是基于该架构进行的模型设计，可以说Transformer顶起了AI的半壁江山。对于这些有些枯燥的概念，有些乏味的数学表达，我会尽可能说的直白和通俗易懂，打通理解Transformer的最后一公里。我会在本公众号进行文章的首发，相关文章会添加标签“Transformer专栏”，可点击文章左下角的标签查看所有文章。巧的是，下班路上刚手敲完大纲，晚上一个小伙伴来咨询学习LLM的事情，问我之前写的《五一节前吹的牛，五一期间没完成，今天忙里偷闲，给完成了。https://blog.csdn.net/dongtuoc/article/details/138633936?spm=1001.2014.3001.5501

董董灿是个攻城狮
关注
  • 20
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
全球名校课程作业分享系列(6)--斯坦福计算机视觉与深度学习CS231n之神经网络细解与优化尝试
寒小阳
02-07 9416
课程作业原地址：CS231n Assignment 1 作业及整理：编写：@土豆 && @郭承坤 && @寒小阳 时间：2018年2月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/79278882 待折腾的数据集 关于神经网络你起码应该知道的 所谓的前向传播 一个神经元的本事 强大的层状神经元 不废话了看代码
机器学习极简入门课
GitChat
07-03 4124
课程介绍 本达人课针对机器学习初学者，从机器学习、深度学习最基本的原理及学习意义入手，以模型为驱动，带领大家吃透几个最经典的机器学习模型——学习这些模型的原理、数学推导、训练过程和优化方法。 本课为每个模型提供了极小数据量的“极简版”实例，方便读者从直观上了解模型的运行原理。借助这些例子，大家可以将自己变身为“人肉计算机”，通过口算/笔算每一步的推导，模拟算法全过程，进而彻底理解每个模型的运作方式...
再见北理工：忆北京研究生的编程时光
热门推荐
杨秀璋的专栏
09-13 6万+
两年前，我本科毕业写了这样一篇文章：《回忆自己的大学四年得与失》，感慨了自己在北理软院四年的所得所失；两年后，我离开了帝都，回到了贵州家乡，准备开启一段新的教师生涯，在此也写一篇文章纪念下吧！ 还是那句话：这篇文章是写给自己的，希望很多年之后，回想起自己北京的六年时光，也是美好的回忆。文章可能有点长，但希望大家像读小说一样耐心品读，看完之后也能温馨一笑或唏嘘摇头...
Code review是个数学问题：从二向箔说起
lusing的专栏
06-16 295
Code review是个数学问题：从二向箔说起 写代码有两件最重要的事情，一是仰望星空，二是脚踏实地。在搞code review之前，我们先看一张星空的图，梵高的星空： 看到了这张星空，不知道读过《三体》的同学是不是联想到了二向箔。 即使是没有看过《三体》的同学，对于降维攻击这个词应该也不陌生。二向箔是将三维空间变成二维空间的武器。 我们引用一段原文： “两个二维体的结构在星光下清晰地显现出来：在二维化的太空艇，可以看到二维展开后的三维构造，可以分辨出座舱和聚变发动机等部分，还有座舱中那个卷曲的人体
小学生都能看懂的人工智能原理
qq_35488769的博客
04-18 967
人工智能（Artificial Intelligence，简称AI）是指利用计算机技术来模拟、扩展和承担人的智能活动的一种技术和科学。人工智能技术可以实现和模拟人类的思维、学习、推理、判断、决策、语言、知识获取和处理等智能活动，具有自主、自适应、自我学习和推理、自我控制等特征。人工智能是目前计算机科学领域的重要研究方向之一，应用广泛，包括自然语言处理、机器翻译、图像识别、语音识别、智能游戏、智能家居、智能医疗、智能交通等领域。
从1.0到2.0：民生银行数据库智能运维的探索升级与实践
杨建荣的学习笔记
11-06 319
本文根据孔再华老师在〖deeplus直播：金融业数据库转型与国产化改造〗线上分享演讲内容整理而成。（文末有回放的方式，不要错过）孔再华民生银行 数据库专家民生银行资深数据库专家，具有丰富的...
一个小例子搞懂分页
03-01
分页 博文链接：https://java-007.iteye.com/blog/196655
EXT js 大量例子 搞懂就是牛人
12-17
EXT js 大量例子 这些研究好了后 基本上 EXT都不用发愁了。
支持向量机几个例子的代码
12-17
支持向量机的几个Python代码例子，分别是有SMO实现，核函数的应用，以及手写数字识别的代码例子，下载即可运行
学习整理 docker
wonder_dog的博客
05-31 205
nexus。
书籍学习|基于SprinBoot+vue的书籍学习平台(源码+数据库+文档)
JIngJaneIL的博客
05-28 1186
首先,论文一开始便是清楚的论述了平台的研究内容。其次,剖析平台需求分析,弄明白“做什么”,分析包括业务分析和业务流程的分析以及用例分析,更进一步明确平台的需求。然后在明白了平台的需求基础上需要进一步地设计平台,主要包罗软件架构模式、整体功能模块、数据库设计。本项目软件架构选择B/S模式和java技术，总体功能模块运用自顶向下的分层思想。再然后就是实现平台并进行代码编写实现功能。论文的最后章节总结一下自己完成本论文和开发本项目的心得和总结。通过书籍学习平台将会使书籍学习各个方面的工作效率带来实质性的提升。
前端技术入门学习：探索数字世界的奇幻之旅
qwertyhn_0024的博客
05-27 225
HTML定义了网页的结构和内容，CSS负责样式和布局，而JavaScript则实现了网页的交互功能。对于初学者来说，前端技术既是一个充满魅力的新世界，也是一个充满挑战与困惑的领域。本文将引导您从四个方面、五个方面、六个方面和七个方面深入理解前端技术，开启您的学习之旅。在这个过程中，我们需要不断探索、学习和实践，才能逐步掌握这门技艺的精髓。同时，我们也需要保持敏锐的洞察力和开放的心态，不断适应和应对前端技术领域的变化和发展。同时，随着人工智能、大数据等新技术的不断涌现，前端技术也将面临更多的挑战和机遇。
oracle中的INTERVAL函数学习总结
weixin_42821740的博客
05-30 451
简单学懂interval函数
超大功率光伏并网逆变器学习(三相) 一
最新发布
我的博客
05-31 314
1.超大功率用的IGBT开关频率通常很低,比如6KHz。2.线电压和相电压的关系。
强化学习——学习笔记
qq_52302919的博客
05-27 1322
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
视觉语言大模型llava学习
csuzhaoqinghui的博客
05-31 363
ViLBERT（Vision-and-Language BERT）是一个专为处理视觉和语言信息而设计的模型，通过双流结构分别处理图像和文本输入，然后在顶层通过共注意力机制（Co-Attention）将两种信息结合起来。与ViLBERT类似，它使用单一的Transformer模型来同时处理视觉和语言信息，通过将图像的区域特征与相应的文字描述一起编码，实现了对图像和文本的联合理解。视觉语言模型的不断发展正在推动人工智能领域向更高层次的理解和创造能力迈进，为创建更智能、更互动的系统打开新的可能性。
Android学习之ION memory manager
我的博客
05-28 1055
ion_device是miscdevice的封装，buffers是存放ion_buffer对象的根结点，heaps为存放ion_heap对象的列表，custom_ioctl为自定义的操作函数，clients为客户端根结点。每一种类型的memory都对应一个ion_heap类型的对象，ion_heap的对象存放在dev中，内存的类型存放做type中，ops为内存的操作函数指针。ION 模块是可扩展的（API都是统一的），支持各种形式的内存分配方式，可以表述不同的硬件资源和他们的一些限制。
柳州市哪里有学编程的最好：探索编程学习的最佳选择
liyrbtqe_66w的博客
05-30 428
然而，面对市场上琳琅满目的编程培训机构，如何选择最适合自己的学习场所，却成为了一个令人困惑的难题。本文将从四个方面、五个方面、六个方面和七个方面，深入剖析柳州市编程学习的最佳选择，帮助您在众多选项中找到最适合自己的编程学习之路。这包括线上的课程平台、线下的培训机构以及高校的相关专业等。柳州市的编程学习机构各具特色，有的注重实战项目经验，有的强调基础理论学习，还有的则提供个性化的定制课程。通过深入了解各机构的特色与优势，并结合自身的需求和兴趣进行选择，相信您一定能在柳州市找到最佳的编程学习之路。
用go语言写一个词向量
05-22
词向量是一种将单词映射到向量空间中的技术，它可以用于自然语言处理中的诸多任务，例如文本分类、机器翻译等。在Go语言中，我们可以使用Gonum库来实现词向量。 首先，我们需要定义一个词向量类型： ``` type WordVector struct { Words []string Vectors [][]float64 } ``` 其中，`Words`表示词汇表，`Vectors`表示单词对应的向量。 接下来，我们可以使用Gonum的矩阵运算函数来实现训练词向量模型。下面是一个简单的例子： ``` import ( "fmt" "github.com/gonum/matrix/mat64" ) func TrainWordVector(corpus [][]string, dim int) *WordVector { // 构建词汇表 words := make([]string, 0) for _, doc := range corpus { for _, word := range doc { if !contains(words, word) { words = append(words, word) } } } // 初始化词向量矩阵 V := mat64.NewDense(len(words), dim, nil) for i := 0; i < V.RawMatrix().Rows; i++ { for j := 0; j < V.RawMatrix().Cols; j++ { V.Set(i, j, rand.Float64()) } } // 训练词向量模型 for _, doc := range corpus { for i, word := range doc { // 获取当前单词的词向量 x := V.RowVec(wordIndex(words, word)) // 计算上下文单词的加权平均向量 var context mat64.Vector for j := i-2; j <= i+2; j++ { if j >= 0 && j < len(doc) && j != i { context.AddVec(context, V.RowVec(wordIndex(words, doc[j]))) } } context.ScaleVec(1.0/3.0, &context) // 更新当前单词的词向量 x.AddScaledVec(x, 0.01, &context) V.SetRow(wordIndex(words, word), x.RawVector().Data) } } return &WordVector{Words: words, Vectors: V.RawMatrix().Data} } // 判断一个字符串是否在一个字符串切片中 func contains(arr []string, str string) bool { for _, a := range arr { if a == str { return true } } return false } // 获取一个单词在词汇表中的索引 func wordIndex(words []string, word string) int { for i, w := range words { if w == word { return i } } return -1 } ``` 在上面的代码中，我们首先构建了词汇表 `words`，然后初始化了词向量矩阵 `V`。接着，我们遍历语料库 `corpus`，对每个单词进行更新。具体地，我们先获取当前单词的词向量 `x`，然后计算上下文单词的加权平均向量 `context`，并将其与当前单词的词向量相加，最后更新当前单词的词向量。这个过程可以反复迭代多次，以得到更好的词向量模型。 最后，我们可以使用训练好的模型来获取单词的词向量： ``` func (wv *WordVector) GetVector(word string) []float64 { index := wordIndex(wv.Words, word) if index == -1 { return nil } return wv.Vectors[index] } ``` 这个函数可以返回一个单词的词向量，如果该单词不在词汇表中，则返回 `nil`。 当然，上面的实现仅是一个简单的例子，实际应用中可能需要更复杂的模型和更大规模的语料库。但是，通过这个例子，我们可以看到如何使用Gonum库来实现词向量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

董董灿是个攻城狮

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值