fasttext预训练词向量加载

最新推荐文章于 2024-03-29 19:00:45 发布

安然烟火

最新推荐文章于 2024-03-29 19:00:45 发布

阅读量2.8k

点赞数 2

分类专栏： NLP 文章标签：机器学习 python

本文链接：https://blog.csdn.net/qq_30868737/article/details/108736043

版权

NLP 专栏收录该内容

17 篇文章

订阅专栏

本文介绍了如何使用gensim包加载FastText提供的预训练词向量，并提供了两种不同格式(.vec与.bin)的加载示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

官方给出的fasttext预训练词向量下载地址：https://fasttext.cc/docs/en/english-vectors.html

wiki-news-300d-1M.vec.zip: 在维基百科2017、UMBC webbase语料库和statmt.org新闻数据集中(16B tokens)训练的100万个词向量。>

wiki-news-300d-1M-subword.vec.zip: 在维基百科2017、UMBC webbase语料库和statmt.org新闻数据集(16B tokens)中包含子单词信息训练的100万个词向量。

crawl-300d-2M.vec.zip: 在Common Crawl训练的200万个词向量 (600B tokens)。

crawl-300d-2M-subword.zip: 在subword information on Common Crawl 训练的200万个词向量 (600B tokens).

官方给出的格式是

import io
 
def load_vectors(fname):
    fin = io.open(fname, 'r', encoding='utf-8', newline='\n', errors='ignore')
    n, d = map(int, fin.readline().split())
    data = {}
    for line in fin:
        tokens = line.rstrip().split(' ')
        data[tokens[0]] = map(float, tokens[1:])
    return data

但是我希望可以直接加载为模型，以为要下载.bin的格式，结果google查到可以用gensim包直接加载：

from gensim.models import KeyedVectors
FASTTEXTFILE="./fastText/wiki-news-300d-1M.vec"
FASTTEXT=KeyedVectors.load_word2vec_format(FASTTEXTFILE,limit=500000)

另外把.bin的加载方法也放在这对比下：

from gensim.models import FastText
FASTTEXTFILE = "./fastText/cc.en.300.bin"
FASTTEXT=FastText.load_fasttext_format(FASTTEXTFILE)