sparkmllib算法之特征转换-第一篇（StopWordsRemover）

最新推荐文章于 2022-03-10 11:36:51 发布

阿龙学堂

最新推荐文章于 2022-03-10 11:36:51 发布

阅读量380

点赞数

本文链接：https://blog.csdn.net/superzyl/article/details/104904583

版权

本文介绍了Apache Spark的StopWordsRemover功能，用于从文本数据中移除常见无意义的停止词。内容包括停止词的定义、StopWordsRemover的工作原理、示例演示以及代码实现，展示了如何在不同语言中使用该工具去除停用词，以提高文本处理的效果。

摘要由CSDN通过智能技术生成

0、停止词介绍

停止词是应该从输入中排除的词，通常是因为词经常出现而且没有那么多含义。

StopWordsRemover 将字符串序列（例如，Tokenizer 的输出）作为输入，并从输入序列中删除所有停用词。停用词列表由 stopWords 参数指定。某些语言的默认停用词可通过调用访问 StopWordsRemover.loadDefaultStopWords(language)，其中可用选项为“丹麦语”，“荷兰语”，“英语”，“芬兰语”，“法语”，“德语”，“匈牙利语”，“意大利语”，“挪威语” “，”葡萄牙语“，”俄语“，”西班牙语“，”瑞典语“和”土耳其语“。布尔参数 caseSensitive 指示匹配项是否区分大小写（默认为 false）。

1、示例

1.1、数据准备

id  | raw
----|----------
0   | [I, saw, the, red, baloon]
1   | [Mary, had, a, little, lamb]

1.2、应用停用词后结果

id  | raw                         | filtered
----|-----------------------------|--------------------
0   | [I, saw, the, red, baloon]  | [saw, red, baloon]
1   | [Mary, had, a, little, lamb]|[Mary, little,