AI工具：Windows安装jieba中文分词工具与测试

这几天弄一个项目用到jieba中文分词工具，之前电脑重装系统，系统内没了，这下来安装，碰到了坑，记录下

环境

• win10
• python3.7
• jieba-0.39

安装python3.7

• 官网链接：https://www.python.org/downloads/windows/
• 选择对应版本和64/32位的executable Installer进行下载
• 下载完，执行exe
• 安装时注意：
  • 管理员安装
  • 勾选Add python to PATH
  • 如果安装后出现报错：0x..... 用户取消了安装，说明没有其他用户权限，那是因为你勾选了Install launcher for all user，如果没有权限就去掉这个勾吧
  • Customize installation从而选择自己想装的位置
  • python -V 查看安装版本
• 安装完cmd -> python即可进入命令行编辑模式，敲个print(“abc”)试试。exit(0)进行退出

安装jieba

这里选用jieba-0.39安装

官网下载

https://pypi.org/project/jieba/

• 找到对应版本，截至本文最新的版本是0.42，需要找历史发布版本，并下载，是个zip包
• 解压jieba-0.39.zip到安装目录
• 文件路径栏输入cmd（不知道啥意思的话，就cmd后cd到刚才的解压目录）
• 执行：python setup.py install
• 没报错信息就说明成功

在线安装jieba

• pip install jieba==0.39（不设置版本的话就安装最新版）

安装过程中报错

pip is configured with locations that require TLS/SSL

如果是linux环境下，需要检查openssl依赖

查看：rpm -aq|grep openssl

安装：yum install openssl openssl-devel

若有缺少安装，在安装后重新安装python进行编译安装即可

cd Python-3.6.4
./configure --with-ssl
make & make install

• Windows环境解决

解决方法为到https://slproweb.com/products/Win32OpenSSL.html上下载winopessl，直接下载第一个MSI安装即可（就3~4m左右）

这里附上直接下载的链接：https://slproweb.com/download/Win64OpenSSL_Light-1_1_1g.msi

下载完安装即可

测试jieba

testjieba.py

#encoding=utf-8
import jieba

# 全模式
seg_list = jieba.cut("南京市长江大桥",cut_all=True)
print(",".join(seg_list)) 

# 精确模式
seg_list = jieba.cut("我来到北京天安门",cut_all=False)
print(",".join(seg_list))  

# 默认是精确模式
seg_list = jieba.cut("他来到了阿里深研大厦") 
print(",".join(seg_list)) 

# 搜索引擎模式
seg_list = jieba.cut_for_search("明大帅硕士毕业于中国科学院大学，后在家里深造") 
print(",".join(seg_list)) 

• 执行：cmd -> python testjieba.py

E:\study\anaconda3\pkgs\jieba-0.39>python testjieba.py
Building prefix dict from the default dictionary ...
Loading model from cache C:\Users\明柯\AppData\Local\Temp\jieba.cache
Loading model cost 1.103 seconds.
Prefix dict has been built succesfully.
南京,南京市,京市,市长,长江,长江大桥,大桥
我,来到,北京,天安门
他,来到,了,阿里,深研,大厦
明,大帅,硕士,毕业,于,中国,科学,学院,科学院,中国科学院,大学,，,后,在,家里,深造