本文详细介绍了使用gensim训练word2vec模型时遇到的问题及其解决方案，包括KeyError和MemoryError。解决KeyError的方法涉及到min_count参数调整和数据格式正确性，而MemoryError则通过减小模型尺寸解决。训练流程包括数据预处理、分词和去停用词，最后进行模型训练并计算相似性。
问题详解
1.word2vec - KeyError: “word X not in vocabulary”
解决方案：阅读https://stackoverflow.com/questions/58666699/word2vec-keyerror-word-x-not-in-vocabulary提到的两种方法解决
可能存在的问题
- 在训练时gensim.models.Word2Vec(data, size=, min_count=, window=)的参数min_count默认值为5，也即频率低于5的词都将被忽略不进行训练，故将其值改为1，仍然报错。
- 上述data参数数值类型错误，查看了官方示例(https://radimrehurek.com/gensim/auto_examples/tutorials/run_word2vec.html#sphx-glr-auto-examples-tutorials-run-word2vec-py),类型应该为list，然而个人将经过预处理（文字提取，分词，去停用词等）的数据
最低0.47元/天 解锁文章
扫一扫
2504
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
