split分词和tokenize的区别

split分词只把单词分出来，形成由单个单词构成的字符串；
tokenize把单词和标点符号都分出来，形成由单词和标点构成的一个字符串变量；
但是二者分出的词都是区分大小写的，使用停用词表时，只会删除小写的停用词。