初学者|一步步掌握FoolNLTK

 

 

 

 

本文介绍了FoolNLTK的使用方法，是一个使用双向 LSTM 构建的便捷的中文处理工具包，该工具不仅可以实现分词、词性标注和命名实体识别，同时还能使用用户自定义字典加强分词的效果。

 

 

简介

 

 

FoolNLTK是一个使用双向 LSTM 构建的便捷的中文处理工具包，该工具不仅可以实现分词、词性标注和命名实体识别，同时还能使用用户自定义字典加强分词的效果。根据该项目所述，这个中文工具包可能不是最快的开源中文分词，但很可能是最准的开源中文分词。

 

Github地址：https://github.com/rockyzhengwu/FoolNLTK

 

 

实战

 

1.安装

 

# 基于神经网络(BiLSTM)训练
# 可能不是最快但是最精确的中文分词工具
# 高精度的分词，词性标注，实体识别
# Java版本：https://github.com/rockyzhengwu/JFoolNLTK
# 我的安装环境：- window10 - python 3.56
# pip install foolnltk -i https://pypi.tuna.tsinghua.edu.cn/simple

 

2.分词

 

import fool
sentence = "我爱自然语言处理！"
sen_cut = (fool.cut(sentence))
print(sen_cut)

[['我', '爱', '自然', '语言', '处理', '！']]

 

3.词性标注

 

sen_cut = (fool.cut(sentence))
print(fool.pos_cut(sentence))

[[('我', 'r'), ('爱', 'v'), ('自然', 'n'), ('语言', 'n'), ('处理', 'v'), ('！', 'wt')]]

 

4.命名实体识别

sentence = "我想去北京学习自然语言处理！"
words, ners = fool.analysis(sentence)
print(ners)

[[(3, 6, 'location', '北京')]]

 

代码已上传：https://github.com/yuquanle/StudyForNLP/blob/master/NLPtools/FoolNLTKDemo.ipynb

 

The End