SparkSQL内置函数

统计每日uv和销售额

这里使用内置函数 countDistinct
//每天都有很多用户来访问，但是每个用户可能每天会访问很多次
//所以uv,指的是，对用户进行去重以后的访问次数(去重统计总数)
//首先，对DataFrame调用groupBy()方法，对某一列进行分组
//然后调用agg()方法，第一个参数，必须必须必须传入之前在groupBy()方法中出现的字段
//第二个参数，传入countDistinct('userid)，sum，first等，Spark提供的内置函数
//内置函数中，传入的参数，也是用单引号作为前缀的，
userAccessLogRowDF.groupBy("date")
  .agg('date,countDistinct('userid))
  .map(row => Row(row(1),row(2)))
  .collect()
  .foreach(println)

//开始进行每日销售额的统计
userSaleRowDF.groupBy("date")
  .agg('date,sum('sale))
  .map(row => Row(row(1),row(2)))
  .collect()
  .foreach(println)