解决fasttext内存不足无法读取模型的问题

最新推荐文章于 2024-07-25 16:25:51 发布

DASEason

最新推荐文章于 2024-07-25 16:25:51 发布

阅读量6.1k

点赞数 3

分类专栏：机器学习数据挖掘知识图谱 nlp python 文章标签：内存 facebook fasttext 词向量

本文链接：https://blog.csdn.net/qq547276542/article/details/78817118

版权

在尝试使用fasttext读取3GB中文模型时遇到内存不足的问题，尽管mac内存充足。通过搜索找到了解决方案，即使用pyfasttext库替代原版。安装pyfasttext并成功读取模型。

摘要由CSDN通过智能技术生成

fasttext是个好东西，是由facebook在2016年推出的一个训练词向量的模型。相比于之前Google的word2vec，fasttext可以解决out of vocabulary的问题。fasttext还能够用于有监督的文本分类。更赞的是，facebook提供了200多种语言的预训练模型和词向量。
然而，在安装完fasttext后，当我读取了3GB的中文模型时，却出了下面的问题：

Traceback (most recent call last):
  File "text_fasttext.py", line 7, in <module>
    text()
  File "text_fasttext.py", line 4, in text
    model = fasttext.load_model('wiki.zh.bin')
  File "fasttext/fasttext