使用词向量嵌入模型，获得近义词

最新推荐文章于 2024-05-01 16:36:18 发布
最新推荐文章于 2024-05-01 16:36:18 发布
阅读量1k 收藏 2
点赞数
文章标签： nlp python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42460920/article/details/110817090
版权
本文介绍了如何使用词向量模型，特别是SGNS模型，结合Faiss库计算词向量的相似度。通过加载预训练模型，确定最佳模型参数，并探讨了微服务部署的可能性。
摘要由CSDN通过智能技术生成

整体框架

主要嵌入模型来自于github, 计算词向量使用Faiss。部署为微服务接口可以使用各种web框架，如flask, django, fastapi等。

读取模型

此项目提供了非常多的预训练模型，读相应的论文 Shen Li, Zhe Zhao, Renfen Hu, Wensi Li, Tao Liu, Xiaoyong Du, Analogical Reasoning on Chinese Morphological and Semantic Relations, ACL 2018. 可知，主要分为SGNS(稠密向量), PPMI(稀疏向量), 要计算词向量之间的相似度，我们选择SGNS模型。在这里插入图片描述
有不同语料*分词方法，根据论文可知，使用综合语料+Word+Character+Ngram训练的模型，在相应的评价指标Word Similarity和Word Analogy上评分最高，故使用此模型。

根据项目的issues可知，模型是bz2的压缩包，里面是纯文本，数据如下：

	字/词的个数  300维向量
	字/词1  具体的向量......
	字/词2  具体的向量......
	......

读取代码

def read_model(path: str) ->
最低0.47元/天 解锁文章
weixin_42460920
关注
中文同义词词库synonyms下载
10-21
中文同义词词库下载，3w条同义词和近义词。基本囊括了常见的所有词，可以用于机器学习，自然语言处理，搜索等。
Embedding 、词嵌入、向量模型说的是一回事么？AI是如何理解世界？AI人不能不看的Embedding白话科普！
最新发布
python12345_的博客
06-28 941
在AI理解世界的过程中，向量模型扮演着一个至关重要的角色，甚至可以说它是AI大模型用以构建和理解复杂数据的基础，也是对不同形态数据的一种标准化的“浓缩”。它能够将语言、图像、声音等多样化的信息，转化为一种通用的、数学化的表达形式，为AI开启一扇通往对世界智能理解与创造的大门。向量模型擅长将抽象的概念和具体的事物转化为一系列数值，这些数值在多维空间中按照特定的模式排列，形成了向量。向量模型之所以重要，不仅因为它们为机器学习算法提供了一种高效的数据处理方式，更因为它们是实现可重用性、泛化性和灵活性的关键。
中文同义词近义词库 vs 词向量
zjj1898的博客
11-21 2255
方案一：利用预训练好的词向量模型 优点： （1）能把词进行语义上的向量化（2）能得到词与词的相似度 缺点： （1）词向量的效果和语料库的大小和质量有较大的关系（2）用most_similar() 得到往往不是“同义词”，而是“共现词” 方案二：同义词近义词库 比较经典的是哈工大社会计算与信息检索研究中心同义词词林扩展版 把词条按照树状的层次结果组织到一起，并区分了同义词和近义词，例如： ...
易懂AI自然语言处理算法:词嵌入模型（Word Embedding Models）Transformer模型（如BERT, GPT）无监督学习算法 K-均值聚类（K-Means Clustering）
chenhao0568的专栏
12-11 1869
比如，如果你在读一个故事中的某个角色的对话，你可能会同时想到这个角色之前的行为或其他角色的相关反应。PCA通过数学转换，将原来的特征转换为新的特征（称为主成分），这些新特征彼此之间没有相关性（即它们是正交的）。主成分分析（PCA）是一种统计方法，用于在数据中找到最重要的特征，同时减少数据的维度，但尽可能保留原始数据的重要信息。可以把它想象成一个从多维空间到低维空间的映射过程，它找到了一个新的坐标系统，使得数据在这个新系统中的分布尽可能分散（即方差最大化）。它是单向的，这意味着在生成文本时，只考虑之前的词。
腾讯词向量同义词扩展使用参考
u010483897的博客
12-16 965
import json import time from collections import OrderedDict from gensim.models import KeyedVectors from annoy import AnnoyIndex t1 = time.time() print('start load tc') tc_wv_model = KeyedVectors.load_word2vec_format( '../data/Tencent_AILab_ChineseEmb.
利用bert预训练模型生成句向量或词向量.zip
01-07
这些词向量可用于词性标注、词义消歧、甚至构建词嵌入矩阵。 在实际应用中，这些向量可以被用于多种任务，例如文本分类、情感分析、问答系统、机器翻译等。通过将BERT预训练模型的输出作为输入特征，可以提升模型对...
Pytorch深度学习（5） — 词向量及Glove预训练模型使用
01-06
Pytorch深度学习（5） — 词向量及Glove预训练模型使用1.word2vec的原理和实现2.Glove预训练模型使用2.1 求近义词和类比词2.1.1 使用预训练的词向量2.2.2 应用预训练词向量2.2.2.1 求近义词2.2.2.2 求类比词小结 ...
词向量-嵌入word2vec词向量的RNN+attention中文文本分类.zip
04-28
- 使用word2vec训练词向量模型，得到每个词的向量表示。 - 构建RNN模型，将词向量作为输入，可能使用LSTM或GRU单元以缓解长序列问题。 - 引入注意力机制，调整模型以关注文本中重要的部分。 - 训练模型，调整超参数...
词向量-嵌入word2vec词向量的cnn中文文本分类.zip
04-28
首先，Word2Vec是一种广泛使用的词向量模型，主要分为两种算法：CBOW（Continuous Bag of Words）和Skip-gram。CBOW通过上下文单词预测目标单词，而Skip-gram则相反，通过目标单词预测上下文单词。这两种方法都旨在...
使用分布式词汇对比词向量区分正反义词
Mark_Australia的博客
08-20 813
正反义词
【从零开始学习深度学习】48.Pytorch_NLP实战案例：如何使用预训练的词向量模型求近义词和类比词
阿旭的博客
01-17 956
【从零开始学习深度学习】48.Pytorch_NLP实战案例：如何使用预训练的词向量模型求近义词和类比词
同义词（近义词）算法总结（附代码）
u010960155的博客
02-14 2万+
一、简介 同义词挖掘一般有三种思路，借助已有知识库，上下文相关性，文本相似度。 1.1 知识库 可以借助已有知识库得到需要同义词，比如说《哈工大信息检索研究室同义词词林扩展版》和 HowNet，其中《词林》文件数据如下。 Aa01A01= 人 士 人物 人士 人氏 人选 Aa01A02= 人类 生人 全人类 Aa01A03= 人手 人员 人口 人丁 口 食指 Aa01A04= 劳力 劳动...
word2vec查询中文词向量同义词
weixin_48231783的博客
10-23 6270
总体思路： 由于我在查询同义词的时候，发现很多专业词语都可能不在这个词向量训练模型里面，于是我想到了可以写成，输入一个词，查询这个库中有没有词表示，如果没有就把它分词后查询。 先导入库 import jieba import gensim import numpy as np 再导入已经训练好的词向量模型（我这里设置limit为1000000，总共有600多万个词） 百科模型下载 word_vectors=gensim.models.KeyedVectors.load_word2vec_fo
Pytorch深度学习（5） -- 词向量及Glove预训练模型使用
weixin_44880916的博客
02-17 1万+
Pytorch深度学习（5） -- 词向量及Glove预训练模型使用1.word2vec的原理和实现2.Glove预训练模型使用2.1 求近义词和类比词2.1.1 使用预训练的词向量2.2.2 应用预训练词向量2.2.2.1 求近义词2.2.2.2 求类比词小结 1.word2vec的原理和实现 具体参考： [CSDN]:https://blog.csdn.net/Daycym/article/d...
python minimize_同义词词向量训练python实现
weixin_39640090的博客
11-27 555
Boblee人工智能硕士毕业，擅长及爱好python，基于python研究人工智能、群体智能、区块链等技术，并使用python开发前后端、爬虫等。本文基于https://zhuanlan.zhihu.com/p/28979653进行修改。word2vec简要介绍 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单...
【大模型学习】Transformer（学习笔记）
Glass_Gun的博客
05-01 882
Word2Vec是一种用于将词语映射到连续向量空间的技术，它是由Google的Tomas Mikolov等人开发的。Word2Vec模型通过学习大量文本数据中的词语上下文信息，将每个词语表示为高维空间中的向量。在这个向量空间中，具有相似语境的词语通常被映射到彼此附近的位置，从而使得词语之间的语义关系得以保留。Word2Vec有两种主要的模型结构：连续词袋模型（）和模型。CBOW模型试图根据上下文词语预测目标词语，而Skip-gram模型则相反，它试图根据目标词语预测上下文词语。
同义词抽取：从知识库中自动发现同义词的方法
qq_22472047的博客
04-19 1727
原论文：《Automatic Synonym Discovery with Knowledge Bases》 背景知识 同义词抽取是一种NLP领域下游任务使用广泛的基础任务，可以用于实体归一、融合，实体链接，query改写，提高召回等任务。现有的方法有：1）直接利用Freebase, WordNet等知识库直接扩充，但这对于领域的实体覆盖率很低；2）人工维护同义词典，成本非常高；3）监督/弱监督方法，训练一个同义词分类器，检测出固定的句式pattern来挖掘同义词，但也需要依赖人工精细的选择一些种子训练
【机器学习】word2vec词向量，相似词，近义词，k-means文本聚类预处理，python
HelenLee
03-03 3193
使用K-means做词聚类需要用到word2vec做词向量化预处理。 #@Author : LinYimeng 代码传送门： # -*- coding: utf-8 -*- #@Author : LinYimeng import multiprocessing import gensim from gensim.test.utils import common_texts, ge...
【NLP】词袋模型（bag of words model）和词嵌入模型（word embedding model）
热门推荐
学渣的博客
11-24 3万+
本文作为入门级教程，介绍了词袋模型（bag of words model）和词向量模型（word embedding model）的基本概念。 1 词袋模型 我们先来看2个例句： Jane wants to go to Shenzhen. Bob wants to go to Shanghai. 将所有词语装进一个袋子里，不考虑其词法和语序的问题，即每个词语都是独立的。例如上面2个例句，就可以构成一个词袋，袋子里包括Jane、wants、to、go、Shenzhen、Bob、Shanghai。假设建立一
GloVe词向量模型的50维子集分析
'glove.6B.50d'指的是GloVe模型的一个特定版本，'6B'表示训练时使用的语料库是60亿个单词量级，而'50d'则指该模型输出的是50维的词向量。这种低维的词向量通常用于降低计算复杂度和存储需求，同时在很多情况下仍然...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值