sparksql查询完数据保存到一个文件中,并且不出现乱码

实例代码:

object movies2{

  def main(args: Array[String]): Unit = {
    val spark: SparkSession = SparkSession.builder()
      .appName("movies")
      .master("local[*]")
      .getOrCreate()

    val lines: Dataset[String] = spark.read.textFile("file:///C:\\Users\\lenovo\\Desktop\\app-2019-12-12.log")
    import spark.implicits._
//    21022734,妈妈的朋友,2019-05-15 08:58:05,5.2,搜秀影院
    val movies: Dataset[(Int, String, Int, Int, Double, String)] = lines.map(x => {
      val s: Array[String] = x.split(",")
      val userId: Int = s(0).toInt
      val movieName: String = s(1)
      //2019052011
      val day: Int = DateUtils.parseToMin(s(2)).substring(0,6).toInt
      val hours: Int = DateUtils.parseToMin(s(2)).substring(8, 10).toInt
      val score: Double = s(3).toDouble
      val cinema: String = s(4)
      (userId, movieName, day, hours, score, cinema)
    })

    val df: DataFrame = movies.toDF("userId","movieName","day","hours","score","cinema")
    df.createTempView("movies")
//    val r: DataFrame = spark.sql("select * from movies")
//    r.show(30)
    val rs1: DataFrame = spark.sql("select hours,count(*) as count from movies where day = 201912 group by hours order by hours")
    println("某月(12月)内电影观看时间点分布:")
    rs1.show(24)

    val rs2: DataFrame = spark.sql("select cinema,count(*) as Box_office from movies where day = 201912 group by cinema order by Box_office desc")
    println("某月(12月)电影院票房统计")
    rs2.show()
    //将分析后的数据写到一个文件中,调用coalesce方法传入分区数
    rs2.coalesce(1).write.format("csv").save("/fengrui")
    //或者下面这个
    rs2.coalesce(1).write.csv("/fengrui2")
    rs2.coalesce(1).write.json("/fengrui2")

  }

}

我的结果放到hdfs上了,只生成一个文件,不调用coalesce的话会按照并行度来切分文件,会落地好多文件,看起来不方便

,json或者CSV格式数据不会有乱码出现

 

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值