python 读取kafka 写hive_sparkStreaming读取kafka写入hive表

最新推荐文章于 2023-02-27 20:16:49 发布

weixin_39661881

最新推荐文章于 2023-02-27 20:16:49 发布

阅读量296

点赞数

文章标签： python 读取kafka 写hive

本文链接：https://blog.csdn.net/weixin_39661881/article/details/111498772

版权

该博客介绍了如何使用Spark Streaming从Kafka的多个topic中消费数据，然后将数据写入到Hive表中。通过设置Spark和Hive的相关配置，创建DirectStream连接Kafka，并根据数据内容过滤分别写入不同的Hive表。

摘要由CSDN通过智能技术生成

packagehiveimportjava.io.Fileimportorg.apache.kafka.clients.consumer.ConsumerRecordimportorg.apache.kafka.common.serialization.StringDeserializerimportorg.apache.log4j.{Level, Logger}importorg.apache.spark.sql.{Row, SparkSession}importorg.apache.spark.streaming.{Seconds, StreamingContext}importorg.apache.spark.streaming.dstream.InputDStreamimportorg.apache.spark.streaming.kafka010.{ConsumerStrategies, KafkaUtils, LocationStrategies}/*** spark消费多个topic的数据写入不同的hive表*/object SparkToHive {

def main(args: Array[String]): Unit={

Logger.getLogger("org.apache.spark").setLevel(Level.WARN)

Logger.getLogger("org.eclipse.jetty.server").setLevel(Level.WARN)

Logger.getLogger("org.apache.kafka.clients.consumer").setLevel(Level.WARN)

val warehouseLocation= new File("hdfs://cluster/hive/warehouse").getAbsolutePath

@transientval spark=SparkSession