WordVec和Bert词向量实践

一、Word2Vec词向量

1.分词

①经典工具

• 中科院NLPIR分词
• 北大pkuseg分词（不能直接词性标注）
• 清华THULAC分词
• HanLP分词
• 哈工大LTP分词
• jieba分词

②方法比较

• 八款中文词性标注工具使用及在线测试
• 中文分词工具比较 6大中文分词器测试（哈工大LTP、中科院计算所NLPIR、清华大学THULAC和jieba、FoolNLTK、HanLP）

2.训练

①使用Word2Vec

• 安装模块

pip install word2vec

• 构建词向量

import word2vec
word2vec.word2vec('corpusSegDone.txt', 'corpusWord2Vec.bin', size=300, verbose=True)

• 显示并使用词向量

②使用gensim

• 安装模块

pip install gensim

import logging
import multiprocessing
import os.path
import sys
import jieba

from gensim.models import Word2Vec
from gensim.models.word2vec import PathLineSentences

if __name__ == '__main__':
    
    # 日志信息输出
    program = os.path.basename(sys.argv[0])
    logger = logging.getLogger(program)
    logging.basicConfig(format='%(asctime)s: %(levelname)s: %(message)s')
    logging.root.setLevel(level=logging.INFO)
    logger.info("running %s" % ' '.join(sys.argv))
    
    # check and process input arguments
    #