sparkmllib算法之特征转换-第一篇（StopWordsRemover）

0、停止词介绍

停止词是应该从输入中排除的词，通常是因为词经常出现而且没有那么多含义。

StopWordsRemover 将字符串序列（例如，Tokenizer 的输出）作为输入，并从输入序列中删除所有停用词。停用词列表由 stopWords 参数指定。某些语言的默认停用词可通过调用访问 StopWordsRemover.loadDefaultStopWords(language)，其中可用选项为“丹麦语”，“荷兰语”，“英语”，“芬兰语”，“法语”，“德语”，“匈牙利语”，“意大利语”，“挪威语” “，”葡萄牙语“，”俄语“，”西班牙语“，”瑞典语“和”土耳其语“。布尔参数 caseSensitive 指示匹配项是否区分大小写（默认为 false）。

1、示例

1.1、数据准备

id  | raw
----|----------
0   | [I, saw, the, red, baloon]
1   | [Mary, had, a, little, lamb]

1.2、应用停用词后结果

id  | raw                         | filtered
----|-----------------------------|--------------------
0   | [I, saw, the, red, baloon]  | [saw, red, baloon]
1   | [Mary, had, a, little, lamb]|[Mary, little,