下载rouge的估计都是nlper吧,最近gpt火了,着实有点担心自己的未来啊
1.pyrouge和ROUGE
网上好麻烦还要下载XML什么的,我采用了以下做法,能跑出正确结果
(参考了好几个博客,就不一一列出了)
①下载ROUGE-1.5.5
这个就自己找了,网上一大堆,下面pyrouge的github链接里也有
②不要pip install pyrouge ,用github上的库:
就是这个:https://github.com/andersjo/pyrouge
③设置ROUGE-1.5.5路径
pyrouge_set_rouge_path /你的下载路径/ROUGE-1.5.5/
④
cd /你的下载路径/ROUGE-1.5.5/
chmod 777 *.pl
cd data
rm WordNet-2.0.exc.db
perl WordNet-2.0-Exceptions/buildExeptionDB.pl ./WordNet-2.0-Exceptions ./smart_common_words.txt ./WordNet-2.0.exc.db
要是报了.pl无权限的错,就用chmod 777 xxxx.pl给它权限
⑤测试是否成功安装
http://t.csdn.cn/Wchx6
2.nltk
一般会让你执行以下操作
import nltk
nltk.download('punkt')
一般不会成功
那么就要本地配置,在这里下载punkt.zip
我的是安装到 ~/anaconda3/envs/虚拟环境名称/nltk_data/tokenizers
你的执行以下命令:
import nltk
nltk.word_tokenize("hello ctatat suibian")
看它的报错Searched in 什么什么,后面加上tokenizers就是你的路径
(如果你没有nltk_data目录,自己建一个就行)
测试是否成功安装punkt
运行上述命令,分词结果是hello,ctatat,suibian就成功了