<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.8.0</version>
</dependency>
<!-- Spark Streaming Kafka Connector -->
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
<version>3.2.0</version>
</dependency>
<!-- PostgreSQL JDBC -->
<dependency>
<groupId>org.postgresql</groupId>
<artifactId>postgresql</artifactId>
<version>42.2.24</version>
</dependency>
创建项目编写以下代码实现功能
package org.example;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.*;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka010.ConsumerStrategies;
import org.apache.spark.streaming.kafka010.KafkaUtils;
import org.apache.spark.streaming.kafka010.LocationStrategies;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.util.*;
public class SparkStreamingKafka {
public static void main(String[] args) throws InterruptedException {
// 创建 Spark 配置
SparkConf sparkConf = new SparkConf()
.setAppName(“spark_kafka”)
.setMaster(“local[*]”)
.setExecutorEnv(“setLogLevel”, “ERROR”);//设置日志等级为ERROR,避免日志增长导致的磁盘膨胀
// 创建 Spark Streaming 上下文
JavaStreamingContext streamingContext = new JavaStreamingContext(sparkConf, new Duration(2000)); // 间隔两秒扑捉一次
// 创建 Spark SQL 会话
SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();
// 设置 Kafka 相关参数
Map<String, Object> kafkaParams = new HashMap<>();
kafkaParams.put("bootstrap.servers", "10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092");
kafkaParams.put("key.deserializer", StringDeserializer.class);
kafkaParams.put("value.deserializer", StringDeserializer.class);
kafkaParams.put("auto.offset.reset", "earliest");
// auto.offset.reset可指定参数有
// latest:从分区的最新偏移量开始读取消息。
// earliest:从分区的最早偏移量开始读取消息。
// none:如果没有有效的偏移量,则抛出异常。
kafkaParams.put("enable.auto.commit", true); //采用自动提交offset 的模式
kafkaParams.put("auto.commit.interval.ms",2000);//每隔离两秒提交一次commited-offset
kafkaParams.put("group.id", "spark_kafka"); //消费组名称
// 创建 Kafka stream
Collection<String> topics = Collections.singletonList("spark_kafka"); // Kafka 主题名称
JavaDStream<ConsumerRecord<String, String>> kafkaStream = KafkaUtils.createDirectStream(
streamingContext,
LocationStrategies.PreferConsistent(),
ConsumerStrategies.Subscribe(topics, kafkaParams) //订阅kafka
);
//定义数据结构
StructType schema = new StructType()
.add("key", DataTypes.LongType)
.add("value", DataTypes.StringType);
kafkaStream.foreachRDD((VoidFunction<JavaRDD<ConsumerRecord<String, String>>>) rdd -> {
// 转换为 DataFrame
Dataset<Row> df = sparkSession.createDataFrame(rdd.map(record -> {
return RowFactory.create(record.offset(), record.value()); //将偏移量和value聚合
}), schema);
// 写入到 PostgreSQL
df.write()
//选择写入数据库的模式
.mode(SaveMode.Append)//采用追加的写入模式
//协议
.format("jdbc")
//option 参数
.option("url", "jdbc:postgresql://localhost:5432/postgres") // PostgreSQL 连接 URL
//确定表名
.option("dbtable", "public.spark_kafka")//指定表名
.option("user", "postgres") // PostgreSQL 用户名
.option("password", "postgres") // PostgreSQL 密码
.save();
});
// 启动 Spark Streaming
streamingContext.start();
// 等待 Spark Streaming 应用程序终止
streamingContext.awaitTermination();
}
}
在执行代码前,向创建名为spark\_kafka的topic
kafka-topics.sh --create --topic spark_kafka --bootstrap-server 10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092
向spark\_kafka 主题进行随机推数
kafka-producer-perf-test.sh --topic spark_kafka --thrghput 10 --num-records 10000 --record-size 100000 --producer-props bootstrap.servers=10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092
运行过程中消费的offset会一直被提交到每一个分区
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/2e813e00e558497da55a094068e3ca85.png)
此时在数据库中查看,数据已经实时落地到库中
![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/feda0334b5644606ac00e6ff932f398d.png)
#### TCP
TCP环境下,实时监控日志的输出,可用于监控设备状态、环境变化等。当监测到异常情况时,可以实时发出警报。
package org.example;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.*;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka010.ConsumerStrategies;
import org.apache.spark.streaming.kafka010.KafkaUtils;
import org.apache.spark.streaming.kafka010.LocationStrategies;
import org.apache.kafka.common.serialization.StringDeserializer;
import java.util.*;
public class SparkStreamingKafka {
public static void main(String[] args) throws InterruptedException {
// 创建 Spark 配置
SparkConf sparkConf = new SparkConf()
.setAppName(“spark_kafka”) // 设置应用程序名称
.setMaster("local[]") // 设置 Spark master 为本地模式,[]表示使用所有可用核心
// 设置日志等级为ERROR,避免日志增长导致的磁盘膨胀
.setExecutorEnv("setLogLevel", "ERROR");
// 创建 Spark Streaming 上下文
JavaStreamingContext streamingContext = new JavaStreamingContext(sparkConf, new Duration(2000)); // 间隔两秒扑捉一次
// 创建 Spark SQL 会话
SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();
// 设置 Kafka 相关参数
Map<String, Object> kafkaParams = new HashMap<>();
kafkaParams.put("bootstrap.servers", "10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092"); // Kafka 服务器地址
kafkaParams.put("key.deserializer", StringDeserializer.class); // key 反序列化器类
kafkaParams.put("value.deserializer", StringDeserializer.class); // value 反序列化器类
kafkaParams.put("auto.offset.reset", "earliest"); // 从最早的偏移量开始消费消息
kafkaParams.put("enable.auto.commit", true); // 采用自动提交 offset 的模式
kafkaParams.put("auto.commit.interval.ms", 2000); // 每隔两秒提交一次 committed-offset
kafkaParams.put("group.id", "spark_kafka"); // 消费组名称
// 创建 Kafka stream
Collection<String> topics = Collections.singletonList("spark_kafka"); // Kafka 主题名称
JavaDStream<ConsumerRecord<String, String>> kafkaStream = KafkaUtils.createDirectStream(
streamingContext,
LocationStrategies.PreferConsistent(),
ConsumerStrategies.Subscribe(topics, kafkaParams) // 订阅 Kafka
);
// 定义数据结构
StructType schema = new StructType()
.add("key", DataTypes.LongType)
.add("value", DataTypes.StringType);
kafkaStream.foreachRDD((VoidFunction<JavaRDD<ConsumerRecord<String, String>>>) rdd -> {
// 转换为 DataFrame
Dataset<Row> df = sparkSession.createDataFrame(rdd.map(record -> {
return RowFactory.create(record.offset(), record.value()); // 将偏移量和 value 聚合
}), schema);
// 写入到 PostgreSQL
df.write()
// 选择写入数据库的模式
自我介绍一下,小编13年上海交大毕业,曾经在小公司待过,也去过华为、OPPO等大厂,18年进入阿里一直到现在。
深知大多数大数据工程师,想要提升技能,往往是自己摸索成长或者是报班学习,但对于培训机构动则几千的学费,着实压力不小。自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
4)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,基本涵盖了95%以上大数据开发知识点,真正体系化!
由于文件比较大,这里只是将部分目录大纲截图出来,每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频,并且后续会持续更新
如果你觉得这些内容对你有帮助,可以添加VX:vip204888 (备注大数据获取)
[外链图片转存中…(img-4GhtQhwA-1712861385664)]