同义词挖掘干货

最新推荐文章于 2022-04-19 21:38:09 发布
最新推荐文章于 2022-04-19 21:38:09 发布
阅读量3.2k 收藏 13
点赞数 6
分类专栏： 算法 文章标签： 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tudouxiaozi/article/details/113350646
版权
本文介绍了同义词挖掘的方法，包括使用现成的Synonyms包、训练word2vec和利用腾讯的800万词向量。还探讨了BERT在同义词挖掘中的应用，并提出了优化策略，如synsetmine和counter-fitting，以提高同义词召回的准确性。最后强调了人工清洗的重要性。
摘要由CSDN通过智能技术生成

同义词挖掘

同义词长久以来作为衡量语言模型的任务之一，除此之外，在搜索场景中，为了提高检索的泛化性，同义词也少不了。笔者最近接到了同义词挖掘的任务，其实是个子任务，在乞讨的过程中搜集了一些方法和数据，在这里share给大家，希望为同行的人指点一二。

  • 现成的Synonyms包
    github
    html
    用维基百科中文语料训练的同义词工具，直接pip即可，输入词即可直接返回top k的近义词，可以通过top p准确说叫top distance来通过阈值选取同义词。这样非常的方便，但是一些词会出现OOV，因为具体到使用者的query分词，未必在词表中。bug的是开源作者并没有留给学者添加语料训练解决OOV的途径，但是作者表示若你有质量很好的中文语料可以砸向他。

  • 语料分词训练word2vec
    github
    相当于用context distribution的来表征词，用自己的语料并通过自定义的分词方法来确定词表，这样可以解决OOV问题，但是如果语料较少，那么word2vec embedding的同义词效果不好
    这里放几个主

最低0.47元/天 解锁文章
JohnWSY
关注
专栏目录
【数据挖掘竞赛】——比赛的流程干货分享
lingxw的博客
06-30 1131
做一个数据挖掘比赛，主要包含了数据分析，数据清洗，特征工程，模型训练和验证等四个大的模块。
干货：如何高效检索和阅读文献
最新发布
突然好想你
07-11 1028
高效检索和阅读文献是科研过程中非常重要的一环，它能够帮助我们快速找到所需的信息并进行深入的学习和理解。本文就说明一下如何高效检索和阅读文献。🌈
synonym_detection:同义词挖掘算法
05-03
同义词挖掘 同义词挖掘方法： （1）百度百科同义词 （2）word2vector （3）语义共现网络的节点相似度 （4）Levenshtein距离 （5）DPE模型（undo） 主要功能 1. 百度百科同义词 如上图所示，是在百度百科中搜索“凤梨”返回的页面结果，左边这个图为凤梨的description，右边这个图为凤梨的info box。 description中有这么一句话“原产美洲热带地区。俗称菠萝，为著名热带水果之一。”，那么我们可以把凤梨“俗称”菠萝提取出来就到了同义词 info box中有“别称”、“英文名称”、“又称”等属性，我们同样可以当做同义词提取出来，这样就完成了同义词的挖掘 代码示例 def baike_invoke(): import baike_crawler_model print(baike_crawler_model.baike_se
搜索引擎算法之同义词、近义词、上位词挖掘
数据挖掘爱好者
03-14 1万+
在搜索引擎中，我们会碰到大量的同义词需求。用户在描述同一个东西的时候，会有各种各样的描述。 在电商搜索环境中，同义词分成好几类： 1. 品牌同义词：nokia=诺基亚，Adidas=阿迪达斯 2. 产品同义词：投影仪≈投影机，电话≈cell phone;automobile 和car。 3.旧词和新词：自行车 -> 脚踏车 4...
同义词挖掘的一些常用方法 及同义词替换程序
qq_41853758的博客
10-02 9318
先谈谈同义词挖掘的一些常用方法  在用户使用搜索引擎的过程中，由于地区差异、文化水平等差异，用户所输入的query很多时候和资料中的描述不一致。这种情况下，为了能够召回更多的文档向用户展示，搜索引擎需要对用户的输入做同义词、纠错、归一化等操作。在进行这些操作的过程中，同义词的挖掘是一个基础工作。下面简单介绍一下几个简单实用的算法。 词典 从百度词典、金山词霸的词条中抓取数据，根据原词的描述...
近义词挖掘
fxnfk
11-14 1107
意思相近的词，比如“西红柿”，“番茄”。 要计算词的相似度可以首先把词转换为向量，然后用余弦夹角计算相似度。 如何把词转换为向量呢？ word2vector可以，他就是把语料库中的词转换为向量。 （具体计算过程我还没有看明白，to-do）我目前知道的一点是： 我还知道另外一种方法，奇异值分解，Singular Value Decomposition，词-文章矩阵，经过SVD，所有的词都可以转换为一...
query归一 & 同义词挖掘
tudouxiaozi的博客
01-28 3910
query归一 & 同义词挖掘 定义 Query归一和query纠错在概念上容易混淆，相较于query纠错是对存在错误的query进行纠正，query归一则主要起到对同近义表达的query进行语义归一的作用。一些用户的query组织相对来说比较冷门，和item侧（检索语料）资源的语义相同但文字表达相差较大，直接用于召回的话相关性可能会打折扣，这时如果能将这些query归一到相对热门同义或存在对应资源的query会更容易召回相关结果。 腾讯台球 腾讯桌球 华仔啥时候出生的？ 刘德华出生年月 刘德华
Synonym_Extraction:使用三种模型进行同义词提取。 实现http中描述的算法
06-07
同义词_提取 使用三种模型进行同义词提取。 实现描述的算法 #Pipeline：1) 使用 Wordnet 生成：22k 个同义词、2k 个反义词、80k 个不相关的词。 2) Train word vector, each word is mapped to a 50d vector 3) Generate Training data: Synonym with label 1, Antonym/Irrelevant with label -1. For each pair of words, feature is of 250d, a concatenation of x1, x2, x1*x2, |x1-x2|, x1+x2 4) Split data to Train/Test , 33% training data and 67% test data 5)
结合同义词的Web搜索匹配算法初探 (2003年)
05-21
对结合同义词的中文全文信息检索算法进行了探讨，在已有的基于字串匹配算法的基础上，加入了同义词数据库的搜索，使得搜索更加全面和合理，更加符合人们的思维方式。本文对语义判定模块在搜索引擎机构中的定位及语义字典的构造进行了讨论，同时给出了具有语义匹配的中文全文信息搜索的流程。
【干货】Kaggle 数据挖掘比赛经验分享
腾讯广告算法大赛
12-27 338
【干货】Kaggle 数据挖掘比赛经验分享 Kaggle 于 2010 年创立，专注数据科学，机器学习竞赛的举办，是全球最大的数据科学社区和数据竞赛平台。笔者从 2013 年开始，陆续参加了多场 Kaggle上面举办的比赛，相继获得了 CrowdFlower 搜索相关性比赛第一名（1326支队伍）和 HomeDepot 商品搜索相关性比赛第三名（2125支队伍），曾在 Kaggle 数据科学家排行...
干货：完全基于情感词典的文本情感分析
热门推荐
GodBMW的博客
10-04 5万+
这是４个月前做的。受当时的知识水平的限制，还没有接触到机器学习和相关理论，记录一下作为以后备查。当然，如果你想看源码和资料，点击我。从结项到现在，博主一直在使用机器学习并结合相关论文进行情感极性分析（源码点我），效果远远好于本篇代码的效果。 但是，本篇的数据处理和特征选择还是很有意义的，特此记录。 摘要        当今社会媒体的发展导致了金融舆论数据的爆炸式增长。因此，针对金融舆论数据的情
1.7万条近义词替换，SEO伪原创好工具
12-07
1.7万条近义词替换，SEO伪原创好工具，可用于火车头采集，虫虫博客，侠客站群等群发伪原创文章软件
Python-synonyms中文近义词工具包
08-12
synonyms可以用于自然语言理解的很多任务：文本对齐，推荐算法，相似度计算，语义偏移，关键字提取，概念提取，自动摘要，搜索引擎等。
同义词（近义词）算法总结（附代码）
u010960155的博客
02-14 2万+
一、简介 同义词挖掘一般有三种思路，借助已有知识库，上下文相关性，文本相似度。 1.1 知识库 可以借助已有知识库得到需要同义词，比如说《哈工大信息检索研究室同义词词林扩展版》和 HowNet，其中《词林》文件数据如下。 Aa01A01= 人 士 人物 人士 人氏 人选 Aa01A02= 人类 生人 全人类 Aa01A03= 人手 人员 人口 人丁 口 食指 Aa01A04= 劳力 劳动...
搜索引擎中同义词的挖掘及使用
weixin_30721899的博客
10-16 1760
　　用户在使用搜索引擎过程中，由于表述不清晰或者查询词与索引库描述不一致，为了能召回更多更优质的结果展示给用户。这时就需要对用户查询进行分析，包括词权、同义词、纠错等技术，对原查询进行处理。通常搜索引擎中对同义词的处理，线下挖掘同义词词典，线上加载词典，但由于检索系统应用同义词时词典存在部分质量不好、或者本来质量好但是应用同义词更上下文有很强的关联性，并不一定适用，因此同义词主要包括两大方面，同...
bert获取词向量做textcnn文本分类
hufei_neo的博客
08-13 1万+
BERT其中的一个重要作用是可以生成词向量 下面介绍获取词向量的方法 获取BERT词向量的时候用到了肖涵博士的bert-as-service，具体使用方式如下。 环境要求：python版本>=3.5,tensorflow版本>=1.10 相关包的安装： pip installbert-serving-server pip installbert-serving-cli...
知识图谱（KG）中的同义词挖掘
夕小瑶科技说
02-26 5098
一只小狐狸带你解锁NLP/ML/DL秘籍前言在语义搜索推荐、智能问答等场景中，随着通过各类方法挖掘得到知识数据越来越多，我们需要考虑一个新问题——新老知识合并加以整合？比如“拉肚子”...
同义词抽取：从知识库中自动发现同义词的方法
qq_22472047的博客
04-19 1736
原论文：《Automatic Synonym Discovery with Knowledge Bases》 背景知识 同义词抽取是一种NLP领域下游任务使用广泛的基础任务，可以用于实体归一、融合，实体链接，query改写，提高召回等任务。现有的方法有：1）直接利用Freebase, WordNet等知识库直接扩充，但这对于领域的实体覆盖率很低；2）人工维护同义词典，成本非常高；3）监督/弱监督方法，训练一个同义词分类器，检测出固定的句式pattern来挖掘同义词，但也需要依赖人工精细的选择一些种子训练
英语同义词辨析详解
“大学英语同义词辨析大全(完整版)”是一个包含200多页的Word文档，专注于解析英语中的常见同义词，帮助学习者理解和区分它们的细微差别。 在英语学习中，掌握同义词的正确使用至关重要，因为这直接影响到语言表达...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值