NLP 利器 Gensim 中 word2vec 模型的内存需求，和模型评估方式

最新推荐文章于 2023-07-01 10:34:14 发布
最新推荐文章于 2023-07-01 10:34:14 发布
阅读量1.2k 收藏 5
点赞数 1
分类专栏： NLP 文章标签： 机器学习 深度学习 人工智能 神经网络 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42067550/article/details/106553257
版权

Gensim 中 word2vec 模型的内存需求，和模型评估方式

本文为系列文章之一，前面的几篇请点击链接：
NLP 利器 gensim 库基本特性介绍和安装方式
NLP 利器 Gensim 库的使用之 Word2Vec 模型案例演示
NLP 利器 Gensim 来训练自己的 word2vec 词向量模型
NLP 利器 Gensim 来训练 word2vec 词向量模型的参数设置

文章目录

一、内存需求

word2vec 模型的参数是以 Numpy array 的形式存储。

shape 是：（词表长度，词向量维度）

  • 词表长度由 min_count 控制。
  • 词向量维度由 size 控制。

所以参数个数是 len(vocab) * size

每个参数都是单精度浮点数，即 32 位，在内存中占 4 个字节 bytes。

而这样的矩阵会有 3 个同时存储在内存 RAM 中。

所以假设我们词表长度为 100,000，词向量维度 200，那我们所需的内存大小为：

100,000 * 200 * 4 * 3 = 229MB 左右

当然需要额外的一些内存存储词表内容，但是这个基本可以忽略。

二、模型评估

Word2Vec 模型的训练，是一个非监督学习过程，其实没有客观的标准去衡量精确度。

评估需要依赖于最终的应用。

Google 开放了一个 20,000 个样本的测试集合（句法和语义），来测试 “A 之于于 B 就好比 C 之于 D” 这样的任务。

例如一个比较类型的句法类比：

bad : worse ; good : ?

数据集中有 9 种句法对比，包括名词的复数，相反意义的名词等。

语义问题包括了 5 种语义类比，比如：

首都城市（Paris : France ; Tokyo : ?）

家庭成员（brother : sister ; dad : ?）

Gensim 支持同样的评估集合，同时格式也一样。

model.wv.accuracy('./datasets/questions-words.txt')

测试结果：

[{'section': 'capital-common-countries',
  'correct': [],
  'incorrect': [('CANBERRA', 'AUSTRALIA', 'KABUL', 'AFGHANISTAN'),
   ('CANBERRA', 'AUSTRALIA', 'PARIS', 'FRANCE'),
   ('KABUL', 'AFGHANISTAN', 'PARIS', 'FRANCE'),
   ('KABUL', 'AFGHANISTAN', 'CANBERRA', 'AUSTRALIA'),
   ('PARIS', 'FRANCE', 'CANBERRA', 'AUSTRALIA'),
   ('PARIS', 'FRANCE', 'KABUL', 'AFGHANISTAN')]},
 {'section': 'capital-world',
  'correct': [],
  'incorrect': [('CANBERRA', 'AUSTRALIA', 'KABUL', 'AFGHANISTAN'),
   ('KABUL', 'AFGHANISTAN', 'PARIS', 'FRANCE')]},
 {'section': 'currency', 'correct': [], 'incorrect': []},
 {'section': 'city-in-state', 'correct': [], 'incorrect': []},
 {'section': 'family',
  'correct': [],
  'incorrect': [('HE', 'SHE', 'HIS', 'HER'),
   ('HE', 'SHE', 'MAN', 'WOMAN'),
   ('HIS', 'HER', 'MAN', 'WOMAN'),
   ('HIS', 'HER', 'HE', 'SHE'),
   ('MAN', 'WOMAN', 'HE', 'SHE'),
   ('MAN', 'WOMAN', 'HIS', 'HER')]},
 {'section': 'gram1-adjective-to-adverb', 'correct': [], 'incorrect': []},
 {'section': 'gram2-opposite', 'correct': [], 'incorrect': []},
 {'section': 'gram3-comparative',
  'correct': [],
  'incorrect': [('GOOD', 'BETTER', 'GREAT', 'GREATER'),
   ('GOOD', 'BETTER', 'LONG', 'LONGER'),
   ('GOOD', 'BETTER', 'LOW', 'LOWER'),
   ('GOOD', 'BETTER', 'SMALL', 'SMALLER'),
   ('GREAT', 'GREATER', 'LONG', 'LONGER'),
   ('GREAT', 'GREATER', 'LOW', 'LOWER'),
   ('GREAT', 'GREATER', 'SMALL', 'SMALLER'),
   ('GREAT', 'GREATER', 'GOOD', 'BETTER'),
   ('LONG', 'LONGER', 'LOW', 'LOWER'),
   ('LONG', 'LONGER', 'SMALL', 'SMALLER'),
   ('LONG', 'LONGER', 'GOOD', 'BETTER'),
   ('LONG', 'LONGER', 'GREAT', 'GREATER'),
   ('LOW', 'LOWER', 'SMALL', 'SMALLER'),
   ('LOW', 'LOWER', 'GOOD', 'BETTER'),
   ('LOW', 'LOWER', 'GREAT', 'GREATER'),
   ('LOW', 'LOWER', 'LONG', 'LONGER'),
   ('SMALL', 'SMALLER', 'GOOD', 'BETTER'),
   ('SMALL', 'SMALLER', 'GREAT', 'GREATER'),
   ('SMALL', 'SMALLER', 'LONG', 'LONGER'),
   ('SMALL', 'SMALLER', 'LOW', 'LOWER')]},
 {'section': 'gram4-superlative',
  'correct': [],
  'incorrect': [('BIG', 'BIGGEST', 'GOOD', 'BEST'),
   ('BIG', 'BIGGEST', 'GREAT', 'GREATEST'),
   ('BIG', 'BIGGEST', 'LARGE', 'LARGEST'),
   ('GOOD', 'BEST', 'GREAT', 'GREATEST'),
   ('GOOD', 'BEST', 'LARGE', 'LARGEST'),
   ('GOOD', 'BEST', 'BIG', 'BIGGEST'),
   ('GREAT', 'GREATEST', 'LARGE', 'LARGEST'),
   ('GREAT', 'GREATEST', 'BIG', 'BIGGEST'),
   ('GREAT', 'GREATEST', 'GOOD', 'BEST'),
   ('LARGE', 'LARGEST', 'BIG', 'BIGGEST'),
   ('LARGE', 'LARGEST', 'GOOD', 'BEST'),
   ('LARGE', 'LARGEST', 'GREAT', 'GREATEST')]},
 {'section': 'gram5-present-participle',
  'correct': [],
  'incorrect': [('GO', 'GOING', 'LOOK', 'LOOKING'),
   ('GO', 'GOING', 'PLAY', 'PLAYING'),
   ('GO', 'GOING', 'RUN', 'RUNNING'),
   ('GO', 'GOING', 'SAY', 'SAYING'),
   ('LOOK', 'LOOKING', 'PLAY', 'PLAYING'),
   ('LOOK', 'LOOKING', 'RUN', 'RUNNING'),
   ('LOOK', 'LOOKING', 'SAY', 'SAYING'),
   ('LOOK', 'LOOKING', 'GO', 'GOING'),
   ('PLAY', 'PLAYING', 'RUN', 'RUNNING'),
   ('PLAY', 'PLAYING', 'SAY', 'SAYING'),
   ('PLAY', 'PLAYING', 'GO', 'GOING'),
   ('PLAY', 'PLAYING', 'LOOK', 'LOOKING'),
   ('RUN', 'RUNNING', 'SAY', 'SAYING'),
   ('RUN', 'RUNNING', 'GO', 'GOING'),
   ('RUN', 'RUNNING', 'LOOK', 'LOOKING'),
   ('RUN', 'RUNNING', 'PLAY', 'PLAYING'),
   ('SAY', 'SAYING', 'GO', 'GOING'),
   ('SAY', 'SAYING', 'LOOK', 'LOOKING'),
   ('SAY', 'SAYING', 'PLAY', 'PLAYING'),
   ('SAY', 'SAYING', 'RUN', 'RUNNING')]},
 {'section': 'gram6-nationality-adjective',
  'correct': [('INDIA', 'INDIAN', 'AUSTRALIA', 'AUSTRALIAN')],
  'incorrect': [('AUSTRALIA', 'AUSTRALIAN', 'FRANCE', 'FRENCH'),
   ('AUSTRALIA', 'AUSTRALIAN', 'INDIA', 'INDIAN'),
   ('AUSTRALIA', 'AUSTRALIAN', 'ISRAEL', 'ISRAELI'),
   ('AUSTRALIA', 'AUSTRALIAN', 'JAPAN', 'JAPANESE'),
   ('AUSTRALIA', 'AUSTRALIAN', 'SWITZERLAND', 'SWISS'),
   ('FRANCE', 'FRENCH', 'INDIA', 'INDIAN'),
   ('FRANCE', 'FRENCH', 'ISRAEL', 'ISRAELI'),
   ('FRANCE', 'FRENCH', 'JAPAN', 'JAPANESE'),
   ('FRANCE', 'FRENCH', 'SWITZERLAND', 'SWISS'),
   ('FRANCE', 'FRENCH', 'AUSTRALIA', 'AUSTRALIAN'),
   ('INDIA', 'INDIAN', 'ISRAEL', 'ISRAELI'),
   ('INDIA', 'INDIAN', 'JAPAN', 'JAPANESE'),
   ('INDIA', 'INDIAN', 'SWITZERLAND', 'SWISS'),
   ('INDIA', 'INDIAN', 'FRANCE', 'FRENCH'),
   ('ISRAEL', 'ISRAELI', 'JAPAN', 'JAPANESE'),
   ('ISRAEL', 'ISRAELI', 'SWITZERLAND', 'SWISS'),
   ('ISRAEL', 'ISRAELI', 'AUSTRALIA', 'AUSTRALIAN'),
   ('ISRAEL', 'ISRAELI', 'FRANCE', 'FRENCH'),
   ('ISRAEL', 'ISRAELI', 'INDIA', 'INDIAN'),
   ('JAPAN', 'JAPANESE', 'SWITZERLAND', 'SWISS'),
   ('JAPAN', 'JAPANESE', 'AUSTRALIA', 'AUSTRALIAN'),
   ('JAPAN', 'JAPANESE', 'FRANCE', 'FRENCH'),
   ('JAPAN', 'JAPANESE', 'INDIA', 'INDIAN'),
   ('JAPAN', 'JAPANESE', 'ISRAEL', 'ISRAELI'),
   ('SWITZERLAND', 'SWISS', 'AUSTRALIA', 'AUSTRALIAN'),
   ('SWITZERLAND', 'SWISS', 'FRANCE', 'FRENCH'),
   ('SWITZERLAND', 'SWISS', 'INDIA', 'INDIAN'),
   ('SWITZERLAND', 'SWISS', 'ISRAEL', 'ISRAELI'),
   ('SWITZERLAND', 'SWISS', 'JAPAN', 'JAPANESE')]},
 {'section': 'gram7-past-tense',
  'correct': [],
  'incorrect': [('GOING', 'WENT', 'PAYING', 'PAID'),
   ('GOING', 'WENT', 'PLAYING', 'PLAYED'),
   ('GOING', 'WENT', 'SAYING', 'SAID'),
   ('GOING', 'WENT', 'TAKING', 'TOOK'),
   ('PAYING', 'PAID', 'PLAYING', 'PLAYED'),
   ('PAYING', 'PAID', 'SAYING', 'SAID'),
   ('PAYING', 'PAID', 'TAKING', 'TOOK'),
   ('PAYING', 'PAID', 'GOING', 'WENT'),
   ('PLAYING', 'PLAYED', 'SAYING', 'SAID'),
   ('PLAYING', 'PLAYED', 'TAKING', 'TOOK'),
   ('PLAYING', 'PLAYED', 'GOING', 'WENT'),
   ('PLAYING', 'PLAYED', 'PAYING', 'PAID'),
   ('SAYING', 'SAID', 'TAKING', 'TOOK'),
   ('SAYING', 'SAID', 'GOING', 'WENT'),
   ('SAYING', 'SAID', 'PAYING', 'PAID'),
   ('SAYING', 'SAID', 'PLAYING', 'PLAYED'),
   ('TAKING', 'TOOK', 'GOING', 'WENT'),
   ('TAKING', 'TOOK', 'PAYING', 'PAID'),
   ('TAKING', 'TOOK', 'PLAYING', 'PLAYED'),
   ('TAKING', 'TOOK', 'SAYING', 'SAID')]},
 {'section': 'gram8-plural',
  'correct': [],
  'incorrect': [('BUILDING', 'BUILDINGS', 'CAR', 'CARS'),
   ('BUILDING', 'BUILDINGS', 'CHILD', 'CHILDREN'),
   ('BUILDING', 'BUILDINGS', 'MAN', 'MEN'),
   ('BUILDING', 'BUILDINGS', 'ROAD', 'ROADS'),
   ('BUILDING', 'BUILDINGS', 'WOMAN', 'WOMEN'),
   ('CAR', 'CARS', 'CHILD', 'CHILDREN'),
   ('CAR', 'CARS', 'MAN', 'MEN'),
   ('CAR', 'CARS', 'ROAD', 'ROADS'),
   ('CAR', 'CARS', 'WOMAN', 'WOMEN'),
   ('CAR', 'CARS', 'BUILDING', 'BUILDINGS'),
   ('CHILD', 'CHILDREN', 'MAN', 'MEN'),
   ('CHILD', 'CHILDREN', 'ROAD', 'ROADS'),
   ('CHILD', 'CHILDREN', 'WOMAN', 'WOMEN'),
   ('CHILD', 'CHILDREN', 'BUILDING', 'BUILDINGS'),
   ('CHILD', 'CHILDREN', 'CAR', 'CARS'),
   ('MAN', 'MEN', 'ROAD', 'ROADS'),
   ('MAN', 'MEN', 'WOMAN', 'WOMEN'),
   ('MAN', 'MEN', 'BUILDING', 'BUILDINGS'),
   ('MAN', 'MEN', 'CAR', 'CARS'),
   ('MAN', 'MEN', 'CHILD', 'CHILDREN'),
   ('ROAD', 'ROADS', 'WOMAN', 'WOMEN'),
   ('ROAD', 'ROADS', 'BUILDING', 'BUILDINGS'),
   ('ROAD', 'ROADS', 'CAR', 'CARS'),
   ('ROAD', 'ROADS', 'CHILD', 'CHILDREN'),
   ('ROAD', 'ROADS', 'MAN', 'MEN'),
   ('WOMAN', 'WOMEN', 'BUILDING', 'BUILDINGS'),
   ('WOMAN', 'WOMEN', 'CAR', 'CARS'),
   ('WOMAN', 'WOMEN', 'CHILD', 'CHILDREN'),
   ('WOMAN', 'WOMEN', 'MAN', 'MEN'),
   ('WOMAN', 'WOMEN', 'ROAD', 'ROADS')]},
 {'section': 'gram9-plural-verbs', 'correct': [], 'incorrect': []},
 {'section': 'total',
  'correct': [('INDIA', 'INDIAN', 'AUSTRALIA', 'AUSTRALIAN')],
  'incorrect': [('CANBERRA', 'AUSTRALIA', 'KABUL', 'AFGHANISTAN'),
   ('CANBERRA', 'AUSTRALIA', 'PARIS', 'FRANCE'),
   ('KABUL', 'AFGHANISTAN', 'PARIS', 'FRANCE'),
   ('KABUL', 'AFGHANISTAN', 'CANBERRA', 'AUSTRALIA'),
   ('PARIS', 'FRANCE', 'CANBERRA', 'AUSTRALIA'),
   ('PARIS', 'FRANCE', 'KABUL', 'AFGHANISTAN'),
   ('CANBERRA', 'AUSTRALIA', 'KABUL', 'AFGHANISTAN'),
   ('KABUL', 'AFGHANISTAN', 'PARIS', 'FRANCE'),
   ('HE', 'SHE', 'HIS', 'HER'),
   ('HE', 'SHE', 'MAN', 'WOMAN'),
   ('HIS', 'HER', 'MAN', 'WOMAN'),
   ('HIS', 'HER', 'HE', 'SHE'),
   ('MAN', 'WOMAN', 'HE', 'SHE'),
   ('MAN', 'WOMAN', 'HIS', 'HER'),
   ('GOOD', 'BETTER', 'GREAT', 'GREATER'),
   ('GOOD', 'BETTER', 'LONG', 'LONGER'),
   ('GOOD', 'BETTER', 'LOW', 'LOWER'),
   ('GOOD', 'BETTER', 'SMALL', 'SMALLER'),
   ('GREAT', 'GREATER', 'LONG', 'LONGER'),
   ('GREAT', 'GREATER', 'LOW', 'LOWER'),
   ('GREAT', 'GREATER', 'SMALL', 'SMALLER'),
   ('GREAT', 'GREATER', 'GOOD', 'BETTER'),
   ('LONG', 'LONGER', 'LOW', 'LOWER'),
   ('LONG', 'LONGER', 'SMALL', 'SMALLER'),
   ('LONG', 'LONGER', 'GOOD', 'BETTER'),
   ('LONG', 'LONGER', 'GREAT', 'GREATER'),
   ('LOW', 'LOWER', 'SMALL', 'SMALLER'),
   ('LOW', 'LOWER', 'GOOD', 'BETTER'),
   ('LOW', 'LOWER', 'GREAT', 'GREATER'),
   ('LOW', 'LOWER', 'LONG', 'LONGER'),
   ('SMALL', 'SMALLER', 'GOOD', 'BETTER'),
   ('SMALL', 'SMALLER', 'GREAT', 'GREATER'),
   ('SMALL', 'SMALLER', 'LONG', 'LONGER'),
   ('SMALL', 'SMALLER', 'LOW', 'LOWER'),
   ('BIG', 'BIGGEST', 'GOOD', 'BEST'),
   ('BIG', 'BIGGEST', 'GREAT', 'GREATEST'),
   ('BIG', 'BIGGEST', 'LARGE', 'LARGEST'),
   ('GOOD', 'BEST', 'GREAT', 'GREATEST'),
   ('GOOD', 'BEST', 'LARGE', 'LARGEST'),
   ('GOOD', 'BEST', 'BIG', 'BIGGEST'),
   ('GREAT', 'GREATEST', 'LARGE', 'LARGEST'),
   ('GREAT', 'GREATEST', 'BIG', 'BIGGEST'),
   ('GREAT', 'GREATEST', 'GOOD', 'BEST'),
   ('LARGE', 'LARGEST', 'BIG', 'BIGGEST'),
   ('LARGE', 'LARGEST', 'GOOD', 'BEST'),
   ('LARGE', 'LARGEST', 'GREAT', 'GREATEST'),
   ('GO', 'GOING', 'LOOK', 'LOOKING'),
   ('GO', 'GOING', 'PLAY', 'PLAYING'),
   ('GO', 'GOING', 'RUN', 'RUNNING'),
   ('GO', 'GOING', 'SAY', 'SAYING'),
   ('LOOK', 'LOOKING', 'PLAY', 'PLAYING'),
   ('LOOK', 'LOOKING', 'RUN', 'RUNNING'),
   ('LOOK', 'LOOKING', 'SAY', 'SAYING'),
   ('LOOK', 'LOOKING', 'GO', 'GOING'),
   ('PLAY', 'PLAYING', 'RUN', 'RUNNING'),
   ('PLAY', 'PLAYING', 'SAY', 'SAYING'),
   ('PLAY', 'PLAYING', 'GO', 'GOING'),
   ('PLAY', 'PLAYING', 'LOOK', 'LOOKING'),
   ('RUN', 'RUNNING', 'SAY', 'SAYING'),
   ('RUN', 'RUNNING', 'GO', 'GOING'),
   ('RUN', 'RUNNING', 'LOOK', 'LOOKING'),
   ('RUN', 'RUNNING', 'PLAY', 'PLAYING'),
   ('SAY', 'SAYING', 'GO', 'GOING'),
   ('SAY', 'SAYING', 'LOOK', 'LOOKING'),
   ('SAY', 'SAYING', 'PLAY', 'PLAYING'),
   ('SAY', 'SAYING', 'RUN', 'RUNNING'),
   ('AUSTRALIA', 'AUSTRALIAN', 'FRANCE', 'FRENCH'),
   ('AUSTRALIA', 'AUSTRALIAN', 'INDIA', 'INDIAN'),
   ('AUSTRALIA', 'AUSTRALIAN', 'ISRAEL', 'ISRAELI'),
   ('AUSTRALIA', 'AUSTRALIAN', 'JAPAN', 'JAPANESE'),
   ('AUSTRALIA', 'AUSTRALIAN', 'SWITZERLAND', 'SWISS'),
   ('FRANCE', 'FRENCH', 'INDIA', 'INDIAN'),
   ('FRANCE', 'FRENCH', 'ISRAEL', 'ISRAELI'),
   ('FRANCE', 'FRENCH', 'JAPAN', 'JAPANESE'),
   ('FRANCE', 'FRENCH', 'SWITZERLAND', 'SWISS'),
   ('FRANCE', 'FRENCH', 'AUSTRALIA', 'AUSTRALIAN'),
   ('INDIA', 'INDIAN', 'ISRAEL', 'ISRAELI'),
   ('INDIA', 'INDIAN', 'JAPAN', 'JAPANESE'),
   ('INDIA', 'INDIAN', 'SWITZERLAND', 'SWISS'),
   ('INDIA', 'INDIAN', 'FRANCE', 'FRENCH'),
   ('ISRAEL', 'ISRAELI', 'JAPAN', 'JAPANESE'),
   ('ISRAEL', 'ISRAELI', 'SWITZERLAND', 'SWISS'),
   ('ISRAEL', 'ISRAELI', 'AUSTRALIA', 'AUSTRALIAN'),
   ('ISRAEL', 'ISRAELI', 'FRANCE', 'FRENCH'),
   ('ISRAEL', 'ISRAELI', 'INDIA', 'INDIAN'),
   ('JAPAN', 'JAPANESE', 'SWITZERLAND', 'SWISS'),
   ('JAPAN', 'JAPANESE', 'AUSTRALIA', 'AUSTRALIAN'),
   ('JAPAN', 'JAPANESE', 'FRANCE', 'FRENCH'),
   ('JAPAN', 'JAPANESE', 'INDIA', 'INDIAN'),
   ('JAPAN', 'JAPANESE', 'ISRAEL', 'ISRAELI'),
   ('SWITZERLAND', 'SWISS', 'AUSTRALIA', 'AUSTRALIAN'),
   ('SWITZERLAND', 'SWISS', 'FRANCE', 'FRENCH'),
   ('SWITZERLAND', 'SWISS', 'INDIA', 'INDIAN'),
   ('SWITZERLAND', 'SWISS', 'ISRAEL', 'ISRAELI'),
   ('SWITZERLAND', 'SWISS', 'JAPAN', 'JAPANESE'),
   ('GOING', 'WENT', 'PAYING', 'PAID'),
   ('GOING', 'WENT', 'PLAYING', 'PLAYED'),
   ('GOING', 'WENT', 'SAYING', 'SAID'),
   ('GOING', 'WENT', 'TAKING', 'TOOK'),
   ('PAYING', 'PAID', 'PLAYING', 'PLAYED'),
   ('PAYING', 'PAID', 'SAYING', 'SAID'),
   ('PAYING', 'PAID', 'TAKING', 'TOOK'),
   ('PAYING', 'PAID', 'GOING', 'WENT'),
   ('PLAYING', 'PLAYED', 'SAYING', 'SAID'),
   ('PLAYING', 'PLAYED', 'TAKING', 'TOOK'),
   ('PLAYING', 'PLAYED', 'GOING', 'WENT'),
   ('PLAYING', 'PLAYED', 'PAYING', 'PAID'),
   ('SAYING', 'SAID', 'TAKING', 'TOOK'),
   ('SAYING', 'SAID', 'GOING', 'WENT'),
   ('SAYING', 'SAID', 'PAYING', 'PAID'),
   ('SAYING', 'SAID', 'PLAYING', 'PLAYED'),
   ('TAKING', 'TOOK', 'GOING', 'WENT'),
   ('TAKING', 'TOOK', 'PAYING', 'PAID'),
   ('TAKING', 'TOOK', 'PLAYING', 'PLAYED'),
   ('TAKING', 'TOOK', 'SAYING', 'SAID'),
   ('BUILDING', 'BUILDINGS', 'CAR', 'CARS'),
   ('BUILDING', 'BUILDINGS', 'CHILD', 'CHILDREN'),
   ('BUILDING', 'BUILDINGS', 'MAN', 'MEN'),
   ('BUILDING', 'BUILDINGS', 'ROAD', 'ROADS'),
   ('BUILDING', 'BUILDINGS', 'WOMAN', 'WOMEN'),
   ('CAR', 'CARS', 'CHILD', 'CHILDREN'),
   ('CAR', 'CARS', 'MAN', 'MEN'),
   ('CAR', 'CARS', 'ROAD', 'ROADS'),
   ('CAR', 'CARS', 'WOMAN', 'WOMEN'),
   ('CAR', 'CARS', 'BUILDING', 'BUILDINGS'),
   ('CHILD', 'CHILDREN', 'MAN', 'MEN'),
   ('CHILD', 'CHILDREN', 'ROAD', 'ROADS'),
   ('CHILD', 'CHILDREN', 'WOMAN', 'WOMEN'),
   ('CHILD', 'CHILDREN', 'BUILDING', 'BUILDINGS'),
   ('CHILD', 'CHILDREN', 'CAR', 'CARS'),
   ('MAN', 'MEN', 'ROAD', 'ROADS'),
   ('MAN', 'MEN', 'WOMAN', 'WOMEN'),
   ('MAN', 'MEN', 'BUILDING', 'BUILDINGS'),
   ('MAN', 'MEN', 'CAR', 'CARS'),
   ('MAN', 'MEN', 'CHILD', 'CHILDREN'),
   ('ROAD', 'ROADS', 'WOMAN', 'WOMEN'),
   ('ROAD', 'ROADS', 'BUILDING', 'BUILDINGS'),
   ('ROAD', 'ROADS', 'CAR', 'CARS'),
   ('ROAD', 'ROADS', 'CHILD', 'CHILDREN'),
   ('ROAD', 'ROADS', 'MAN', 'MEN'),
   ('WOMAN', 'WOMEN', 'BUILDING', 'BUILDINGS'),
   ('WOMAN', 'WOMEN', 'CAR', 'CARS'),
   ('WOMAN', 'WOMEN', 'CHILD', 'CHILDREN'),
   ('WOMAN', 'WOMEN', 'MAN', 'MEN'),
   ('WOMAN', 'WOMEN', 'ROAD', 'ROADS')]}]

可以看到测试的结果并不理想，应该是因为我们前面使用的训练语料比较小的原因。

这种精确度的衡量方式有个可选参数 restrict_vocab，用于限制哪些测试样本会被考虑到。

在 2016 年的版本中，Gensim 增加了一个更好的方式来评估语义相似度。

默认使用的是学术数据集：WS-353。但是个人也可以基于这个数据集创造一个专注于特别领域的数据集。

这个数据集包含词语对，及人工标注的相似度评估，用于衡量这两个词的相关性，或同时出现的概率。

例如 coast（海岸） 和 shore（岸）非常相似，这两个词经常出现在同一段文字中。

同时，clothes（衣服） 和 closet（衣橱） 的相似度就要低一些，虽然这两个词是有关系的，但是无法互换。

model.wv.evaluate_word_pairs(datapath('wordsim353.tsv'))

测试结果：

((0.1952515342533469, 0.13490728041580877),
 SpearmanrResult(correlation=0.19127414318530173, pvalue=0.14319638687965558),
 83.0028328611898)

返回值：

  • pearson (tuple of (float, float)) – Pearson correlation coefficient with 2-tailed p-value.
    • 皮尔森相关系数（2 个双尾 p 值）
  • spearman (tuple of (float, float)) – Spearman rank-order correlation coefficient between the similarities from the dataset and the similarities produced by the model itself, with 2-tailed p-value.
    • 斯皮尔曼等级相关系数，针对数据集的相关性和模型产生的相关性，2 个 双尾 p 值。
  • oov_ratio (float) – The ratio of pairs with unknown words.
    • 配对中有未知单词的比例。

所以上面的结果显示，我们测试的成绩并不好呀，应该是训练语料较小的原因吧！

！！！ 注意：

  • 在 Google 测试集和 WS-353 上取得好成绩并不意味着在应用中也会表现很好～
  • 反之亦然～
  • 最好直接在所需的任务中进行测试！比如我们要做一个分类任务，那直接看分类的效果就好了！
AItrust
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
word2vec模型评估_Word2Vec的全貌理解
weixin_39820158的博客
12-12 822
阅读目录1.Introduction2.Word Embedding3.Structure4.Optimization5.Parameter6.Application7.Conclusion8.Reference1.IntroductionWord2Vec 是 Google 在 2013 年开源的一个词向量（Word Embedding）计算工具，其用来解决单词的分布编码问题，因其简单高效引起了工...
python gensim使用word2vec词向量处理中文语料的方法
12-26
word2vec介绍 word2vec官网：https://code.google.com/p/word2vec/ word2vec是google的一个开源工具，能够根据输入的词的集合计算出词与词之间的距离。 它将term转换成向量形式，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。 word2vec计算的是余弦值，距离范围为0-1之间，值越大代表两个词关联度越高。 词向量：用Distributed Representation表示词，通常也被称为“Word Representation”或“Word Embedding
item2vec怎么使用gensim？还是直接word2vec
12-21
推荐算法中的word2vec大牛直接用的该库源码，然后这个玩意目前我无法得到，所以有看到word2vec库，然而这个库不能直接在win下用pip安装，所以我先试试在服务器能不能行？ 服务器是可以的，依赖环境Cython。不过有个警告，不知道会不会影响 >>> import word2vec /./anaconda3/lib/python3.7/site-packages/sklearn/externals/joblib/__init__.py:15: FutureWarning: sklearn.externals.joblib is deprecated in 0.21 and will
对Python中gensim库word2vec的使用详解
01-20
pip install gensim安装好库后，即可导入使用： 1、训练模型定义 from gensim.models import Word2Vec model = Word2Vec(sentences, sg=1, size=100, window=5, min_count=5, negative=3, sample=0.001, hs=1, workers=4) 参数解释： 1.sg=1是skip-gram算法，对低频词敏感；默认sg=0为CBOW算法。 2.size是输出词向量的维数，值太小会导致词映射因为冲突而影响结果，值太大则会耗内存并使算法计算变慢，一般值取为100到200之
doc2vec:使用Gensim训练doc2vec模型的Python脚本
05-01
doc2vec 该存储库包含Python脚本，用于使用训练doc2vec模型。 有关doc2vec算法的详细信息，请参见论文。 创建一个DeWiki数据集 Doc2vec是一种无监督的学习算法，并且可以使用任何文档集来训练模型。 文档可以是简短的140个字符的推文，单个段落（如文章摘要，新闻文章或书籍）中的任何内容。 对于德国人来说，一个好的基线是使用训练模型。 下载最新的DeWiki转储： wget http://download.wikimedia.org/dewiki/latest/dewiki-latest-pages-articles.xml.bz2 提取内容： wget http://medialab.di.unipi.it/Project/SemaWiki/Tools/WikiExtractor.py python WikiExtractor.py -c -b 2
pytorch+Gensim+word2vec+IMDB
01-03
Gensim中包含了Word2Vec 模型的API。Word2Vec期望输入是进过分词的句子列表，即是某个二维数组。该模型API有多个参数可以调整，包括词向量的维度vector_size、扫描句子的窗口大小window 、训练采用的算法sg和迭代遍历语料库的次数epochs等。训练使用的数据是经过处理的CSV格式的影评数据集IMDB。
word2vec模型评估_基于Glove语言模型文章的理解
weixin_39865440的博客
11-23 136
文章作者：Jeffrey Pennington, （斯坦福计算机科学学院）Richard Socher, （斯坦福计算机科学学院）Christopher D. Manning（斯坦福计算机科学学院）本文作者研究过单词的空间向量表示，总结了当时现有的两种主流的思路（全局矩阵分解和本地上下文窗口方法）的优缺点。对于本文的思路就是将上述两个方法结合起来，主要是训练共线矩阵中的非0元素，来得到一些统计信息...
word2vec实现训练自己的词向量及其参数详解
David_house的博客
06-02 1188
较大的窗口大小可以捕捉更远的上下文关系，但可能导致模型更加稀疏。通常，窗口大小的选择取决于训练数据的特性。较大的学习率可以加快模型收敛速度，但如果设置得太大，模型可能会发散。vector_size：词向量的维度，即每个单词表示为一个多少维的向量。较大的值通常会导致更丰富的语义表示，但也需要更多的计算资源。较小的值可以过滤掉噪声单词，但也可能会过滤掉一些有用的信息。一般来说，设置为CPU核心数的值是一个合理的选择。sentences：训练数据，一个包含多个句子的列表，每个句子是一个包含多个单词的列表。
NLP 利器 Gensim 来训练 word2vec 词向量模型的参数设置
AItrust的博客
06-03 2142
使用 Gensim 来训练 word2vec 词向量模型的参数设置 文章目录一、最小频次 min_count二、词向量维度 size三、并行处理核心数 workers 我们可以使用一些参数设置来控制训练的速度和质量。 一、最小频次 min_count min_count 用来修剪内部的词表。 比如在一个 10 亿词级别的语料中，如果一个词只出现了一两次，那这个词不是错字就是垃圾～。 再说了，出现次数太少，我们也没有足够的数据来训练出该词的有意义的词向量，所以最好的做法就是：剔除。 # 准备语料 from g
gensim.models.word2vec() 参数详解
weixin_44852067的博客
04-18 1697
Word2vec是一个用来产生词向量的模型。是一个将单词转换成向量形式的工具。通过转换，可以把对文本内容的处理简化为向量空间中的向量运算，计算出向量空间上的相似度，来表示文本语义上的相似度。
复旦大学重磅发布低内存优化技术LOMO | 将大模型训练内存使用量降低到10.8%，大幅领先DeepSpeed！
专注计算机视觉全栈知识分享
07-01 226
如果我们相信更大的模型具有更平滑的损失面，我们可以得出结论：问题1不是一个问题，因为LLMs的损失面不应该有很大的曲率。然而，训练这些拥有数十亿参数的模型，例如具有30B到175B参数的模型，为NLP研究设下了更高的门槛。正如我们上面提到的，合理地假设LLMs的损失面是平滑的，而更大的批量大小则表示更强的训练稳定性，因此我们相信使用SGD优化器对LLMs进行微调的过程是稳定的。因此，本文方法使得在单台配备8个RTX 3090的计算机上，每个显存为24GB的情况下，可以对65B模型的全部参数进行微调。
QLoRA | 48G内存训练24小时，改进版4-bit量化技术微调650亿参数的模型达到chatgpt99.3%的效果
hxshine的博客
06-03 1642
and直接训练650亿参数的LLaMA进行16位微调需要780GB内存，成本太高。最近量化技术能降低LLM内存使用量，但是一般适应语推理阶段，其用在训练阶段效果就拉跨。本文证明可以在4-bit量化微调带来的损失，可以完全通过adpter来优化，达到原始16-bit微调的精度（chatgpt的99.3%），并极大程度的降低内存使用量同时降低训练时间。QLoRA方法要点如下：直接使用4-bit精度的量化利用Paging Flow优化内存spikes问题with LoRA。
优化PyTorch的速度和内存效率（2022）
AI公园
06-21 1271
点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”作者：Jack Chih-Hsu Lin编译：ronghuaiyang导读你应该知道的18个PyTorch小技巧。调试深度学习的pipelines就像找到最合适的齿轮组合你为什么要读这篇文章？深度学习模型的训练/推理过程涉及很多步骤。在有限的时间和资源条件下，每个迭代的速度越快，整个模型的预测性能就越快。我收集了几...
基于gensim的Doc2Vec\word2vec简析,以及用python 实现简要代码，
IT届的小学生
11-24 9151
Doc2Vec 原理： Doc2Vec 或者叫做 paragraph2vec, sentence embeddings，是一种非监督式算法，可以获得sentences/paragraphs/documents 的向量表达，是 word2vec 的拓展。学出来的向量可以通过计算距离来找 sentences/paragraphs/documents 之间的相似性， 或者进一步可以给文档打标签。 ...
2020-12-09 深度学习 经典CNN模型计算量与内存需求分析
qingfengxd1的博客
12-09 1570
经典CNN模型计算量与内存需求分析 表1 CNN经典模型的内存，计算量和参数数量对比 AlexNet VGG16 Inception-v3 模型内存(MB) ＞200 ＞500 90-100 参数（百万） 60 138 23.2 计算量（.
PyTorch 性能调优指南 | （三）针对GPU的优化方法
Galaxy_Husky的博客
06-28 1156
PyTorch 性能调优指南 | （三）针对GPU的优化方法
word2vec及其优化
weixin_39586997的博客
07-28 1579
1.word2vec 2.item2vec 3.topic2vec 4.wav2vec
Gensim 中 word2vec 函数的使用
chuange6363的博客
09-10 1474
Gensim 是我比较常用的一个 NLP 工具包，特别是其中的 word2vec 模块，它的具体 API 如下： class gensim.models.word2vec.Word2Vec( sentences=None, size=100,...
gensim相关功能函数及其案例
imsuhxz的博客
02-15 4502
目录 一、gensim介绍 二、训练模型 相关转换 词频-逆文档频（Term Frequency * Inverse Document Frequency， Tf-Idf） 潜在语义索引（Latent Semantic Indexing，LSI，or sometimes LSA） 随机映射（Random Projections，RP） 隐含狄利克雷分配（Latent Dirichle...
gensim和word2vec
最新发布
03-06
gensim是一个用于主题建模和文本相似度计算的Python库。它提供了一些常用的自然语言处理算法和工具，其中包括word2vec模型。 word2vec是一种用于将词语表示为向量的算法。它基于分布式假设，即相似的词在上下文中出现的概率也相似。word2vec通过训练神经网络来学习词向量，这些向量可以捕捉到词语之间的语义关系。 gensim库提供了对word2vec模型的支持，可以用于训练和使用词向量。通过gensim，你可以加载预训练的word2vec模型，也可以使用自己的数据进行训练。训练好的模型可以用于计算词语之间的相似度、寻找相似词、进行文本分类等任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值