深度学习中文NLP任务实战（一）：中文词向量的训练

开篇

最近在做相似度检测的项目，由于是公司的实战项目，所以处理的都是中文，自己也算个小白，所以写一个入门的教程吧。这是第一篇，中文词向量的训练。

gensim训练词向量

首先我们为什么要自己训练词向量呢？为什么不直接使用别人训练好的词向量呢。原因也很简单，当我们处理特定领域的数据的时候，很多领域词在其他公共语料里面是没有的，这就必须要求我们能够训练自己的词向量，来处理特定领域的数据。

数据来源于蚂蚁金服的人工智能比赛，数据不是公开的，所以我不放出数据，有兴趣的可以去参加比赛。

数据大概是这样，下图所示是没有经过分词处理的

当然这样的数据是不能直接训练词向量的，首先我们要做的还是分词，这边采用的哈工大开源的pyltp，为了保证有些业务新词不会被错分，我还加如了业务新词词典lexicon，里面包括了花呗之类的词，因为pyltp会把花呗分词为花、呗。
下面放出我分词的函数代码，大家有什么疑问可以在我的博客下面留言

def word_cut(sentence):
    LTP_DATA_DIR =