NLP入门（一）词袋模型及句子相似度

通常，NLP无法处理完整的段落和句子。因此，第一步是分句或者分词。
英语句子，使用NLTK中的word_tokenize函数。
中文句子，jieba分词工具、LTP
注：哈工大语言技术平台（Language Technology Platform, LTP）是哈尔滨工业大学社会计算与信息检索研究中心开发的一整套中文语言处理系统。LTP还提供了包括中文分词、词性标注、命名实体识别、依存句法分析、语义角色标注等NLP技术。

哈工大语言云演示平台：http://www.ltp-cloud.com/
GitHub代码：https://github.com/HIT-SCIR/pyltp
文档：https://pyltp.readthedocs.io/zh_CN/latest/

安装
我的电脑环境：Windows64位，python 3.6

python3.5： 链接：https://pan.baidu.com/s/1i15_kRgsoIZCIboDiC0ehg 提取码：odk2
python3.6 链接：https://pan.baidu.com/s/1NbvTJUXK_FdVYV4b8joa1Q 提取码：vw5s

操作演示环境：pycharm

下载内容
模型下载：下载最新版的模型ltp_data_v3.4.0
下载地址：http://ltp.ai/download.html