词向量相似性（Word Similarity）、类比任务（Word Analogy）实验数据

最新推荐文章于 2021-02-19 22:03:58 发布
最新推荐文章于 2021-02-19 22:03:58 发布
阅读量4.4k 收藏 10
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MakeContral/article/details/86530380
版权

词向量验证的方法通常有: 词的相似性任务（Word Similarity） 以及 词的类比任务 (Word Analogy)。

词的相似性任务-Word Similarity

常用的英文数据集：WordSim-353 、MEN、SCWS

常用的中文数据集：wordsim-240、wordsim-297

词的类比任务-Word Analogy

常用的中文数据集：Chen 2015年构造的评测文件

常用的英文数据集：MSR、SYN、SEM（暂时还没收集到）

上述的数据集上传到了github上了 ：https://github.com/CallMeJiaGu/WordSimilarityAnalogyData

CallMeJiaGu
关注
  • 3
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
模糊匹配、相似度查询怎么破？看PG亿级检索毫秒响应
PostgreSQL China
12-23 2677
阅读使人充实，讨论使人敏捷，写作使人精确。 需求场景假设 Aken某天在咖啡店听到一首歌，觉得很好听，但不知道具体的歌名，只知道歌曲是“民谣”，歌词包含“一把破吉他”、“旅人”，然后是男歌手。 如果我想收藏该歌曲，请问小编如何为我找到目标歌曲、对应的歌手、专辑？ 为什么要讨论这个问题 首先，搜索需求的实际场景实在太多了，可以说处处可见，比如： 百度、Google输入关键字搜索信息； 泛娱乐行业搜索对应的目标音视频文件； 人脸识别、指纹验证、特定动作捕捉认证等。 其次，物联网时代网络产生的数据信息浩如烟海
Word-Analogy:使用GLoVe词嵌入法找到词的类比
04-30
词类比 话题 给定三个词a，b和c，我们将必须生成下一个词d，以使a和b之间的关系与c和d之间的关系相同。 结果 这是单词嵌入的一些例子 学分 1.该存储库基于设置，。 2.杰弗里·彭宁顿（Jeffrey Pennington），理查德·索赫（Richard Socher）和克里斯托弗·曼宁（Christopher D. Manning）。 2014年。GloVe：单词表示的全局向量。 阅读更多有关它的。
【NLP】7评价word2vec模型与生成句子向量——中文相似词表、类比词表、逆文档频率对所有嵌词向量的平均值加权
YoungSeng's Blog
02-19 1011
这里写自定义目录标题1. 中文相似词表2. 中文类比词表3. 汉语情绪分析4. 生成句子向量小结 (注：pdf格式文献复制粘贴翻译时，会有换行的问题，推荐一款名为’copytranslator’的软件，下载在此) 如何评价词向量可参考词向量：如何评价词向量的好坏 1. 中文相似词表 希望找到类似英文中WordSim-353和SimLex-999的数据集对中文词向量模型的准确度和相关性进行测试，参考此文章，其中引用此数据集，相关内容： Wordsim-240 (original name: words-24
pg_similarity：一组用于执行相似性查询的函数和运算符
02-14
介绍 pg_similarity是对支持相似性查询的扩展。 就实现而言，该实现紧密地集成在RDBMS中，因为它定义了运算符，因此可以使用~~~代替传统的运算符（=和<>）。 ！ （这些运算符中的任何一个都代表相似性函数）。 pg_similarity具有三个主要组成部分： 函数：实现文献中可用的相似性算法的一组函数。 这些函数可以用作UDF，并且将是实现相似性运算符的基础； 运算符：在相似度函数顶部定义的一组运算符。 他们使用相似性函数来获取相似性阈值，并将其值与用户定义的阈值进行比较，以判断其是否匹配； 会话变量：一组存储相似性函数参数的变量。 这些变量可以在运行时定义。 安装 PostgreSQL所支持上都支持pg_similarity 。 安装步骤取决于您的操作系统。 您还可以掌握克隆Git存储库的最新修补程序和功能。 $ git clone https://github
PgSQL · 应用案例 · 相似人群圈选，人群扩选，向量相似 使用实践
weixin_33895016的博客
10-22 454
背景 PostgreSQL 相似插件非常多，插件的功能以及用法如下： 《PostgreSQL 相似搜索插件介绍大汇总 (cube,rum,pg_trgm,smlar,imgsmlr,pg_similarity) (rum,gin,gist)》 相似人群分析在精准营销，推荐系统中的需求很多。 人的属性可以使用向量来表达，每个值代表一个属性的权重值，通...
【word2vec】word-analogy.c源码
无知的我
09-16 2725
// Copyright 2013 Google Inc. All Rights Reserved. // // Licensed under the Apache License, Version 2.0 (the "License"); // you may not use this file except in compliance with the License. // You
word_similarity_relatedness_datasets
04-30
单词相似性和相关性数据集 该网页提供了一组数据集，用于对单词的相似性和相关性进行基准测试。 数据集描述于： Kliegr, Tomáš, and Ondřej Zamazal. Antonyms are similar: Towards paradigmatic association approach to rating similarity in SimLex-999 and WordSim-353. Data & Knowledge Engineering 115 (2018): 174-193. 链接到本文： SimLex999-捷克 ：根据SimLex-999单词对 ：根据SimLex-999单词对。 ：根据-CZECHSimLex-999单词对。 重新注释WordSim353 ：使用众包根据原始WordSim353准则重新注释了WordSim353单词对。 wi
分子相似性预测 数据集 CSV+图像（similarity+prediction）【500010012】
最新发布
10-09
两个CSV文件，包含相似性评估，分子的SMILES表示以及论文中描述的分子描述符。随附向专家展示的2D和3D图片，以进行相似性评估。 分子相似性是一个令人印象深刻的广泛话题，在化学的几个领域具有许多意义。它的根源...
Word2Vec:采用Word2Vec训练词向量，数据集：STS
05-01
总结来说，本项目利用Java实现的Word2Vec对Sentence Similarity Benchmark数据集进行了训练，生成的词向量可以用于衡量单词间的语义相似性。对于Java开发者来说，理解和掌握Word2Vec的原理以及如何在Java环境下实现...
结构相似性指数（Structural Similarity Index）
01-04
利用MATLAB进行结构相似性指数（Structural Similarity Index）计算
WordSIMilarity
05-25
用于语义开发，短文本的相似度
Wordsimilarity-wordnet相似度计算工具
03-24
wordnet相似度计算，很难下载和使用，此包包含所有的方法足以使用。
WordNet Similarity 词语相似度
05-29
WordNet Similarity 词语相似度 提供了多种计算方式
AnalogyDataset:用于类比知识探测的数据集
03-12
类比数据集 用于类比知识探测的数据集： SAT风格的类比测试： 单词对列表： 剧本 ：从检索wiki-common-word-pairs，这是在Wikipedia转储中对选定单词对进行训练的单词对嵌入模型。 ：使用类比测试数据集和wiki-common-word-pairs的单词对，使用FastText计算在Wikipedia上的。 usage: get_relative_embedding.py [-h] [-o OUTPUT] [-w WINDOW_SIZE] [--minimum-frequency-context MINIMUM_FREQUENCY_CONTEXT] [--minimum-frequency MINIMUM_FREQUENCY] simplified RELATIVE embedding training optional arguments: -h,
WordSimilarity
06-10
基于词向量的同义词计算 以上三个功能中，基于同义词林和howNet的同义词计算，均来自网上资源。我会尽快找到出处或代码作者和我联系 ##申明 以上算法的实现只是为了测试而用，难免会有些bug,我会尽快完善。 在后续的...
类比论证中的故事相似性-研究论文
06-10
本文提出了一种类比论证的混合模型，它结合了论证方案和故事方案。 模型中类比论证的论证... 故事方案用于模拟两个案例之间的相似性，并作为证据基础来支持类比论证的相似性前提。 使用类比论证的四个例子来检验理论。
翻译：Lucene Similarity (Lucene 文档评分score机制详解)[转]
天涯何处是我家
07-22 257
2008-11-28 19:09 文档的分值代表了该文档在特定查询词下对应的相关性高低，他关联着信息检索向量空间模型中的向量夹角的接近度。一个文档越与查询词相关，得分越高。分值计算公式如下： score(q,d)   =   coord(q,d) · queryNorm(q) ·   ∑ ( tf(t in d) · idf(t)2 · t.getBoost() · norm(t,d...
word2vec使用指导
热门推荐
zhoubl668的专栏：远帆，梦之帆！
04-22 18万+
word2vec是一个将单词转换成向量形式的工具。可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。 一、理论概述 （主要来源于http://licstar.net/archives/328这篇博客） 1.词向量是什么 自然语言理解的问题要转化为机器学习的问题，第一步肯定是要找一种方法把这些符号数学化。 　　NLP 中最直观，也是到目前
【Natural Language Processing】词汇相似度(Word similarity)计算
Lawe的博客
04-14 5861
以下词汇相似度计算方法的实现是基于WordSimilarity-353进行，即根据相关方法计算得到给定词汇的相似度后，再使用斯皮尔曼等级相关判定来计算所得的词汇相似度与已人工标注好的相似度之间的相关性。 一、基于语义词典的方法         常用的语义词典是WordNet，一般直接在Python里面使用，即通过pip install nltk来安装NLTK之后，再下载nltk-data放在相
加载word2vec模型后计算输入词的相似性
06-13
可以使用gensim库中的Word2Vec模块来加载已经训练好的word2vec模型，并计算输入词的相似性。以下是一个示例代码： ```python from gensim.models import Word2Vec # 加载已经训练好的word2vec模型 model = Word2...
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值