spark中默认的属性

val spark: SparkSession = SparkSession.builder().master(“local[2]”)
.appName(“app”)
.getOrCreate()
val wordDataset: Dataset[String] = spark.read.textFile(“spark-test/word.txt”).cache()
import spark.implicits._
val maxCount: Int = wordDataset.map(word => word.split(" “).size).reduce((a, b) => if (a > b) a else b)
println(maxCount)
wordDataset.show()
//使用flatmap算子实现其他特别好的操作方式和实现管理的
val value: Dataset[String] = wordDataset.flatMap(word => word.split(” "))
val frame: DataFrame = value.groupBy(“value”).count()
frame.show()
value.printSchema()
value.show()
spark.stop()
注意内容如下：
1.spark单个字段对应的是存在属性的名称的，对应的列字段的名称是value的，所以，可以使用value来进行字段的分组操作实现的。