sparkStreaming读取kafka写入hive分区表

最新推荐文章于 2024-11-12 09:15:00 发布

W_Little_lion

最新推荐文章于 2024-11-12 09:15:00 发布

阅读量1.6k

点赞数

本文链接：https://blog.csdn.net/W_Little_lion/article/details/120393634

版权

本文介绍了如何使用SparkStreaming从Kafka读取数据并写入Hive分区表，过程中遇到了未启用Hive支持的错误，通过检查和修改代码最终成功实现数据迁移。涉及的工具有Hadoop 3.1.3、Hive 3.1.2、Spark和Scala。

摘要由CSDN通过智能技术生成

sparkStreaming读取kafka写入hive分区表

使用版本： hadoop-3.1.3，hive-3.1.2。

开始这个spark不是很熟悉，但是项目要用到，这就要临阵磨枪了。开始写入hive的时候一直在报一个错误，的不是很懂，就是说我没有 .enableHiveSupport() 我就很蒙我明明有用到，但是他就是说我没用到。
不多说了上代码。

def test:Unit={
//设置用户名
System.setProperty("HADOOP_USER_NAME", "root")
写配置信息
    val conf:SparkConf = new SparkConf().setMaster("local[4]").setAppName("CounusmerController").set("spark.testing.memory","2147480000")
    val ssc = new StreamingContext(conf, Seconds(5))
    // kafka topic
    val topic:String = "test3"
    //消费者
    val groupId:String = "test3"
    //从 Redis 中读取 Kafka 偏移量
    val kafkaOffsetMap: Map[TopicPartition, Long] = OffsetManagerUtil.getOffset(topic,groupId)
    var kafkaDStream: InputDStream[ConsumerRecord[String, String]] = null
    if(kafkaOffsetMap!&