NLP常用资源

Hanlp

词向量

- 北京师范大学&人民大学 中文词向量语料库

对于国内自然语言处理的研究者而言，中文词向量语料库是需求很大的资源。近日，来自北京师范大学和人民大学的研究者开源了「中文词向量语料库」，试图为大家解决这一问题，该库包含经过数十种用各领域语料（百度百科、维基百科、人民日报 1947-2017、知乎、微博、文学、金融、古汉语等）训练的词向量，涵盖各领域，且包含多种训练设置。目前，该研究的论文《Analogical Reasoning on Chinese Morphological and Semantic Relations》已经被 ACL2018 大会接收。

只有纯文本被保留并使用 HanLP(v_1.5.3) 进行词分割
机器之心 Chinese Word Vectors：目前最全的中文预训练词向量集合 ：http://baijiahao.baidu.com/s?id=1600509930259553151&wfr=spider&for=pc
项目链接：https://github.com/Embedding/Chinese-Word-Vectors

- Tencent

官方下载页面：Tencent AI Lab Embedding Corpus for Chinese Words and Phrases https://ai.tencent.com/ailab/nlp/embedding.html
应用：http://www.52nlp.cn/腾讯词向量实战-通过annoy进行索引和快速查询

In [15]: from gensim.models import KeyedVectors
 
# 此处加载时间略长，加载完毕后大概使用了12G内存，后续使用过程中内存还在增长，如果测试，请用大一些内存的机器
In [16]: tc_wv_model = KeyedVectors.load_word2vec_format('./Tencent_AILab_Chines
    ...: eEmbedding.txt', binary=False)