热点词统计

1先将文件上传hdfs,通过spark.read.txtFile导入数据

show查看

 case class Shuju(date:String,name:String,address:String)

调用Dataset的map()算子将每一个元素拆分并存入shuju类中，

val dataset=data.map(line=>{

            val fields=line.split(",")

            val date=fields(0)

            val name=fields(1)

            val address=fields(2)

            shuju(date,name,address)})

 # 查看shujuDataset中的数据内容

 dataset.show()

3.

#将Dataset转为DataFrame

Spark SQL查询的是DataFrame中的数据，因此需要将存有元数据信息的Dataset转为DataFrame。

调用Dataset的toDF()方法，将存有元数据的Dataset转为DataFrame，代码如下：

val sjdf =shujuDataset.toDF()

#执行SQL查询

在DataFrame上创建一个临时视图v_person，并使用SparkSession对象执行SQL查询，代码如下

sjdf.createTempView("v_shuju")