根据网站https://nlp.stanford.edu/software/tokenizer.html所述,Stanford Tokenizer不是独立发布的,而是涵盖在一些software包中,例如Stanford Parser, Stanford Part-of-Speech Tagger, Stanford Named Entity Recognizer 和 Stanford CoreNLP。本文选择Stanford Parser 进行下载。
进入下列网址中,选择包含PTBTokenizer的software。
https://nlp.stanford.edu/software/
目前下载到最新的Stanford-parser-full-2018-02-27。
由于下载的software包存放位置因人而异,所以在使用前需要set CLASSPATH,以便找到stanford-parser.jar。打开terminal,输入
export CLASSPATH=~/xxx/xxx/stanford-parser.jar
stanford-parser.jar前面的路径指的是锁下载的software压缩包所在的路径。
(以桌面上comment文件夹中的comments.txt为例)然后输入
java edu.stanford.nlp.process.PTBTokenizer -preserveLines ~/Desktop/comment/comments.txt > ~/Desktop/comment/comments-token.txt