蚂蚁金服金融大脑的挑战赛的实现代码 NLP文本相似度计算

近期做了一些NLP的研究，并基于6月份蚂蚁金服金融大脑的挑战赛，完成了文本相似度计算的验证。

主要思路是基于word2vec来进行训练，并实现文本相似度的计算。

所使用的语料，包括了公开的wiki语料，网友收集的微信语料，以及此大赛中的语料。

其中微信语料的位置在https://spaces.ac.cn/archives/4304（可参考）。

注意，此次语料训练采用了增量训练的方式。

整体的代码位置在，https://github.com/renwoxing2016/nlp-ali，大家可参考。

使用方式：

1、下载此代码到本地。

2、下载训练的模型，参见模型的位置。

下载后放到models目录下。

3、运行python ali_wx_wiki_vec_compare.py ./input_test.txt ./temp/

4、结果在temp目录下。

训练：

1、下载数据到本地。拷贝到此代码大的根目录下。数据比较大有待上传后更新其网址。

2、运行如下脚本即可。

python word2vec_train.py