【nlp】1.2文本张量表示方法(词向量word2seq和词嵌入Word Embedding)

lys_828

已于 2023-11-13 15:40:29 修改

阅读量1k

点赞数 3

分类专栏： NLP自然语言处理文章标签：自然语言处理 word embedding tensorboard

于 2023-11-13 15:31:11 首次发布

本文链接：https://blog.csdn.net/lys_828/article/details/134339624

版权

30 篇文章 7 订阅 ¥49.90 ¥99.00

订阅专栏

本文介绍了文本张量表示方法，重点讲解了一种常用的词向量表示方法——one-hot编码及其优劣势，并深入探讨了word2vec模型，包括CBOW和skipgram模式的工作原理，以及词向量的训练和效果检验。同时，提到了词嵌入在自然语言处理中的重要性。

摘要由CSDN通过智能技术生成

将一段文本使用张量进行表示，其中一般将词汇表示成向量，称作词向量，再由各个词向量按顺序组成矩阵形成文本表示。作用：方便输入到计算机中

举个例子:

["人生”，“该”，"如何"，“起头"]

==>

#每个词对应矩阵中的一个向量
[[1.32，4,32，8,32，5.2],
[3.1，5.43，8.34，3.2],
[3.21，5.32，2，4.32],
[2.54，7.32，5.12，9.54]]

如果不理解文本张量的意思，可以参考如下（先理解数值化，就是对词进行编号，再理解张量化，就是使用多维来表示这个词，对比一个人的成绩，可以使用五个学科成绩，即五维表示）
在这里插入图片描述

1 one-hot词向量表示

又称独热编码，将每个词表示成具有n个元素的向量，这个词向量中只有一个元素是1࿰

了解本专栏

关注

专栏目录