Spark Streaming处理kafka的数据落地HDFS

Spark Streaming处理kafka的数据落地HDFS

背景

生产上项目的数据从上游kafka topic下发过来，经过spark Streaming简单清洗处理后，下发到下一个kafka topic中，目前需要将清洗处理好的数据，按小时分区落地到HDFS上。
要求，如果当前落地HDFS的程序断了，能按照消息下发kafka topic 的时间进行分区。

实现思路

1：在下发的kafka topic中加入一个consumer group专门用于落地HDFS的数据。
2：在spark streaming中使用spark sql将数据写入HDFS上，并按topic下发kafka的时间分区。
3：写入后Hive需要能查到数据
4： 需要适当减小小文件的数量，避免namenode压力过大。

代码

需要将hive-site.xml放入resource目录下。
如果是将数据落HDFS需要跨集群，则需要加入core-site.xml和hdfs-site.xml文件

 val messages = KafkaUtils.createDirectStream[String, String](
      sparkStreaming,
      PreferConsistent,
      Subscribe[String, String](topics, kafkaParams)
    )

    messages.foreachRDD{rdd=> {
     val spark = SparkSessionSingleton.