Spark ml之Tokenizer

Spark ml中的Tokenizer（分词器）

• Tokenizer是将文本如一个句子拆分城单词的过程，在spark ml中提供Tokenizer实现此功能RegexTokenizer提供了跟高级的基于正则表达式匹配的单词拆分。默认情况下，参数pattern(默认的正则表达式："\s+") 作为分隔符用于拆分输入的文本，或者，用户将参数 gaps设置为false，指定正则表达式pattern表示为tokens，而不是分隔符，这样作为划分结果找到的所有匹配项，很简单，主要是看自己业务数据切分的逻辑。
  示例代码，也是官网给出的示例：

import org.apache.spark.ml.feature.{
   RegexTokenizer, Tokenizer}
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.functions._

/**
  *
  * @author wjc
  *
  *         Tokenizer
  **/
object Tokenizer extends App {
   

  val spark = SparkSession
    .builder()
    .master("local[*]")