同义词挖掘干货

最新推荐文章于 2022-10-20 10:46:03 发布
最新推荐文章于 2022-10-20 10:46:03 发布
阅读量3.1k 收藏 13
点赞数 6
分类专栏： 算法 文章标签： 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tudouxiaozi/article/details/113350646
版权
本文介绍了同义词挖掘的方法，包括使用现成的Synonyms包、训练word2vec和利用腾讯的800万词向量。还探讨了BERT在同义词挖掘中的应用，并提出了优化策略，如synsetmine和counter-fitting，以提高同义词召回的准确性。最后强调了人工清洗的重要性。
摘要由CSDN通过智能技术生成

同义词挖掘

同义词长久以来作为衡量语言模型的任务之一，除此之外，在搜索场景中，为了提高检索的泛化性，同义词也少不了。笔者最近接到了同义词挖掘的任务，其实是个子任务，在乞讨的过程中搜集了一些方法和数据，在这里share给大家，希望为同行的人指点一二。

  • 现成的Synonyms包
    github
    html
    用维基百科中文语料训练的同义词工具，直接pip即可，输入词即可直接返回top k的近义词，可以通过top p准确说叫top distance来通过阈值选取同义词。这样非常的方便，但是一些词会出现OOV，因为具体到使用者的query分词，未必在词表中。bug的是开源作者并没有留给学者添加语料训练解决OOV的途径，但是作者表示若你有质量很好的中文语料可以砸向他。

  • 语料分词训练word2vec
    github
    相当于用context distribution的来表征词，用自己的语料并通过自定义的分词方法来确定词表，这样可以解决OOV问题，但是如果语料较少，那么word2vec embedding的同义词效果不好
    这里放几个主

最低0.47元/天 解锁文章
JohnWSY
关注
  • 6
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
synonym_detection:同义词挖掘算法
05-03
同义词挖掘 同义词挖掘方法： （1）百度百科同义词 （2）word2vector （3）语义共现网络的节点相似度 （4）Levenshtein距离 （5）DPE模型（undo） 主要功能 1. 百度百科同义词 如上图所示，是在百度百科中搜索“凤梨”返回的页面结果，左边这个图为凤梨的description，右边这个图为凤梨的info box。 description中有这么一句话“原产美洲热带地区。俗称菠萝，为著名热带水果之一。”，那么我们可以把凤梨“俗称”菠萝提取出来就到了同义词 info box中有“别称”、“英文名称”、“又称”等属性，我们同样可以当做同义词提取出来，这样就完成了同义词的挖掘 代码示例 def baike_invoke(): import baike_crawler_model print(baike_crawler_model.baike_se
Python-synonyms中文近义词工具包
08-12
synonyms可以用于自然语言理解的很多任务：文本对齐，推荐算法，相似度计算，语义偏移，关键字提取，概念提取，自动摘要，搜索引擎等。
同义词挖掘的一些常用方法 及同义词替换程序
qq_41853758的博客
10-02 9148
先谈谈同义词挖掘的一些常用方法  在用户使用搜索引擎的过程中，由于地区差异、文化水平等差异，用户所输入的query很多时候和资料中的描述不一致。这种情况下，为了能够召回更多的文档向用户展示，搜索引擎需要对用户的输入做同义词、纠错、归一化等操作。在进行这些操作的过程中，同义词的挖掘是一个基础工作。下面简单介绍一下几个简单实用的算法。 词典 从百度词典、金山词霸的词条中抓取数据，根据原词的描述...
近义词挖掘
fxnfk
11-14 1089
意思相近的词，比如“西红柿”，“番茄”。 要计算词的相似度可以首先把词转换为向量，然后用余弦夹角计算相似度。 如何把词转换为向量呢？ word2vector可以，他就是把语料库中的词转换为向量。 （具体计算过程我还没有看明白，to-do）我目前知道的一点是： 我还知道另外一种方法，奇异值分解，Singular Value Decomposition，词-文章矩阵，经过SVD，所有的词都可以转换为一...
搜索引擎算法之同义词、近义词、上位词挖掘
数据挖掘爱好者
03-14 1万+
在搜索引擎中，我们会碰到大量的同义词需求。用户在描述同一个东西的时候，会有各种各样的描述。 在电商搜索环境中，同义词分成好几类： 1. 品牌同义词：nokia=诺基亚，Adidas=阿迪达斯 2. 产品同义词：投影仪≈投影机，电话≈cell phone;automobile 和car。 3.旧词和新词：自行车 -> 脚踏车 4...
query归一 & 同义词挖掘
tudouxiaozi的博客
01-28 3776
query归一 & 同义词挖掘 定义 Query归一和query纠错在概念上容易混淆，相较于query纠错是对存在错误的query进行纠正，query归一则主要起到对同近义表达的query进行语义归一的作用。一些用户的query组织相对来说比较冷门，和item侧（检索语料）资源的语义相同但文字表达相差较大，直接用于召回的话相关性可能会打折扣，这时如果能将这些query归一到相对热门同义或存在对应资源的query会更容易召回相关结果。 腾讯台球 腾讯桌球 华仔啥时候出生的？ 刘德华出生年月 刘德华
Synonym_Extraction:使用三种模型进行同义词提取。 实现http中描述的算法
06-07
同义词_提取 使用三种模型进行同义词提取。 实现描述的算法 #Pipeline：1) 使用 Wordnet 生成：22k 个同义词、2k 个反义词、80k 个不相关的词。 2) Train word vector, each word is mapped to a 50d vector 3) Generate Training data: Synonym with label 1, Antonym/Irrelevant with label -1. For each pair of words, feature is of 250d, a concatenation of x1, x2, x1*x2, |x1-x2|, x1+x2 4) Split data to Train/Test , 33% training data and 67% test data 5)
同义词词库
02-18
总共869页的同义词词库资源，可作为同义词词典使用，用于统一数据库字符
2023版-同义词词林（扩展版）最终版
最新发布
09-14
《2023版-同义词词林（扩展版）最终版》是一个庞大的语言资源库，专为中文处理和自然语言理解领域的专业人士设计。它包含了近8万条词语，这些词语之间的关系是它们在语义上具有相似或相同的含义，即同义词。这个资源...
同义词词库.txt
05-17
2.5W条无重复同义词，近义词词库！本人的基本都是重复的多到你想哭！
结合同义词的Web搜索匹配算法初探 (2003年)
05-21
对结合同义词的中文全文信息检索算法进行了探讨，在已有的基于字串匹配算法的基础上，加入了同义词数据库的搜索，使得搜索更加全面和合理，更加符合人们的思维方式。本文对语义判定模块在搜索引擎机构中的定位及语义字典的构造进行了讨论，同时给出了具有语义匹配的中文全文信息搜索的流程。
1.7万条近义词替换，SEO伪原创好工具
12-07
1.7万条近义词替换，SEO伪原创好工具，可用于火车头采集，虫虫博客，侠客站群等群发伪原创文章软件
论文研究-基于组合词和同义词集的关键词提取算法.pdf
07-22
为了提高关键词的提取准确率，在对现有关键词抽取方法进行研究的基础之上，针对影响关键词提取准确率的分词技术、同义词现象等难点，提出了一种基于组合词和同义词集的关键词提取算法。该算法首先利用组合词识别算法极大地改进分词效果，能识别网页上绝大多数的新词、未登录词，为提高关键词自动抽取准确率奠定了坚实的基础；同时利用构造的同义词集，合并同义词的词频，避免了同义词在输出结果中同现；利用综合评分公式，充分考虑候选关键词的位置、长度、词性等特性。实验数据表明，该方法有较高的提取准确率。
中文同义词词库synonyms下载
10-21
中文同义词词库下载，3w条同义词和近义词。基本囊括了常见的所有词，可以用于机器学习，自然语言处理，搜索等。
同义词（近义词）算法总结（附代码）
热门推荐
u010960155的博客
02-14 2万+
一、简介 同义词挖掘一般有三种思路，借助已有知识库，上下文相关性，文本相似度。 1.1 知识库 可以借助已有知识库得到需要同义词，比如说《哈工大信息检索研究室同义词词林扩展版》和 HowNet，其中《词林》文件数据如下。 Aa01A01= 人 士 人物 人士 人氏 人选 Aa01A02= 人类 生人 全人类 Aa01A03= 人手 人员 人口 人丁 口 食指 Aa01A04= 劳力 劳动...
搜索引擎中同义词的挖掘及使用
weixin_30721899的博客
10-16 1713
　　用户在使用搜索引擎过程中，由于表述不清晰或者查询词与索引库描述不一致，为了能召回更多更优质的结果展示给用户。这时就需要对用户查询进行分析，包括词权、同义词、纠错等技术，对原查询进行处理。通常搜索引擎中对同义词的处理，线下挖掘同义词词典，线上加载词典，但由于检索系统应用同义词时词典存在部分质量不好、或者本来质量好但是应用同义词更上下文有很强的关联性，并不一定适用，因此同义词主要包括两大方面，同...
bert获取词向量做textcnn文本分类
hufei_neo的博客
08-13 1万+
BERT其中的一个重要作用是可以生成词向量 下面介绍获取词向量的方法 获取BERT词向量的时候用到了肖涵博士的bert-as-service，具体使用方式如下。 环境要求：python版本>=3.5,tensorflow版本>=1.10 相关包的安装： pip installbert-serving-server pip installbert-serving-cli...
知识图谱（KG）中的同义词挖掘
夕小瑶科技说
02-26 4964
一只小狐狸带你解锁NLP/ML/DL秘籍前言在语义搜索推荐、智能问答等场景中，随着通过各类方法挖掘得到知识数据越来越多，我们需要考虑一个新问题——新老知识合并加以整合？比如“拉肚子”...
NLP模型笔记2022-32:Sentence-BERT句子语义相似计算与相似句子聚类
源代码杀手的博客
10-20 1111
SentenceTransformers 是一个可以用于句子、文本和图像嵌入的Python库。可以为 100 多种语言计算文本的嵌入并且可以轻松地将它们用于语义文本相似性、语义搜索和同义词挖掘等常见任务。摘要：BERT（Devlin等人，2018）和RoBERTa（刘等人，2019）在句子对回归任务（如语义文本相似性（STS））上设定了新的最先进的性能。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值