SparkStreaming在实时处理的两个场景示例(2)-CSDN博客

本文链接：https://blog.csdn.net/2401_84182665/article/details/137660492

    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.8.0</version>
</dependency>

<!-- Spark Streaming Kafka Connector -->
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming-kafka-0-10_2.12</artifactId>
    <version>3.2.0</version>
</dependency>

<!-- PostgreSQL JDBC -->
<dependency>
    <groupId>org.postgresql</groupId>
    <artifactId>postgresql</artifactId>
    <version>42.2.24</version>
</dependency>


创建项目编写以下代码实现功能

package org.example;

import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.function.VoidFunction;
import org.apache.spark.sql.*;
import org.apache.spark.sql.types.DataTypes;
import org.apache.spark.sql.types.StructType;
import org.apache.spark.streaming.Duration;
import org.apache.spark.streaming.api.java.JavaDStream;
import org.apache.spark.streaming.api.java.JavaStreamingContext;
import org.apache.spark.streaming.kafka010.ConsumerStrategies;
import org.apache.spark.streaming.kafka010.KafkaUtils;
import org.apache.spark.streaming.kafka010.LocationStrategies;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.util.*;

public class SparkStreamingKafka {
public static void main(String[] args) throws InterruptedException {
// 创建 Spark 配置
SparkConf sparkConf = new SparkConf()
.setAppName(“spark_kafka”)
.setMaster(“local[*]”)
.setExecutorEnv(“setLogLevel”, “ERROR”);//设置日志等级为ERROR，避免日志增长导致的磁盘膨胀

    // 创建 Spark Streaming 上下文
    JavaStreamingContext streamingContext = new JavaStreamingContext(sparkConf, new Duration(2000)); // 间隔两秒扑捉一次

    // 创建 Spark SQL 会话
    SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();


    // 设置 Kafka 相关参数
    Map<String, Object> kafkaParams = new HashMap<>();
    kafkaParams.put("bootstrap.servers", "10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092");
    kafkaParams.put("key.deserializer", StringDeserializer.class);
    kafkaParams.put("value.deserializer", StringDeserializer.class);
    kafkaParams.put("auto.offset.reset", "earliest");
    // auto.offset.reset可指定参数有
    // latest：从分区的最新偏移量开始读取消息。
    // earliest：从分区的最早偏移量开始读取消息。
    // none：如果没有有效的偏移量，则抛出异常。
    kafkaParams.put("enable.auto.commit", true);  //采用自动提交offset 的模式
    kafkaParams.put("auto.commit.interval.ms",2000);//每隔离两秒提交一次commited-offset
    kafkaParams.put("group.id", "spark_kafka"); //消费组名称


    // 创建 Kafka stream
    Collection<String> topics = Collections.singletonList("spark_kafka"); // Kafka 主题名称
    JavaDStream<ConsumerRecord<String, String>> kafkaStream = KafkaUtils.createDirectStream(
            streamingContext,
            LocationStrategies.PreferConsistent(),
            ConsumerStrategies.Subscribe(topics, kafkaParams)  //订阅kafka
    );

    //定义数据结构
    StructType schema = new StructType()
            .add("key", DataTypes.LongType)
            .add("value", DataTypes.StringType);

    kafkaStream.foreachRDD((VoidFunction<JavaRDD<ConsumerRecord<String, String>>>) rdd -> {
        // 转换为 DataFrame
        Dataset<Row> df = sparkSession.createDataFrame(rdd.map(record -> {
            return RowFactory.create(record.offset(), record.value());  //将偏移量和value聚合
        }), schema);

        // 写入到 PostgreSQL
        df.write()
                //选择写入数据库的模式
                .mode(SaveMode.Append)//采用追加的写入模式
                //协议
                .format("jdbc")
                //option 参数
                .option("url", "jdbc:postgresql://localhost:5432/postgres") // PostgreSQL 连接 URL
                //确定表名
                .option("dbtable", "public.spark_kafka")//指定表名
                .option("user", "postgres") // PostgreSQL 用户名
                .option("password", "postgres") // PostgreSQL 密码
                .save();
    });
    // 启动 Spark Streaming
    streamingContext.start();
    // 等待 Spark Streaming 应用程序终止
    streamingContext.awaitTermination();
}

}


在执行代码前，向创建名为spark\_kafka的topic

kafka-topics.sh --create --topic spark_kafka --bootstrap-server 10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092


向spark\_kafka 主题进行随机推数

kafka-producer-perf-test.sh --topic spark_kafka --thrghput 10 --num-records 10000 --record-size 100000 --producer-props bootstrap.servers=10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092


运行过程中消费的offset会一直被提交到每一个分区  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/2e813e00e558497da55a094068e3ca85.png)


此时在数据库中查看，数据已经实时落地到库中  
 ![在这里插入图片描述](https://img-blog.csdnimg.cn/direct/feda0334b5644606ac00e6ff932f398d.png)


#### TCP


TCP环境下，实时监控日志的输出，可用于监控设备状态、环境变化等。当监测到异常情况时，可以实时发出警报。

package org.example;

import java.util.*;

public class SparkStreamingKafka {
public static void main(String[] args) throws InterruptedException {
// 创建 Spark 配置
SparkConf sparkConf = new SparkConf()
.setAppName(“spark_kafka”) // 设置应用程序名称
.setMaster("local[]") // 设置 Spark master 为本地模式，[]表示使用所有可用核心

            // 设置日志等级为ERROR，避免日志增长导致的磁盘膨胀
            .setExecutorEnv("setLogLevel", "ERROR");

    // 创建 Spark Streaming 上下文
    JavaStreamingContext streamingContext = new JavaStreamingContext(sparkConf, new Duration(2000)); // 间隔两秒扑捉一次

    // 创建 Spark SQL 会话
    SparkSession sparkSession = SparkSession.builder().config(sparkConf).getOrCreate();


    // 设置 Kafka 相关参数
    Map<String, Object> kafkaParams = new HashMap<>();
    kafkaParams.put("bootstrap.servers", "10.0.0.105:9092,10.0.0.106:9092,10.0.0.107:9092"); // Kafka 服务器地址
    kafkaParams.put("key.deserializer", StringDeserializer.class); // key 反序列化器类
    kafkaParams.put("value.deserializer", StringDeserializer.class); // value 反序列化器类
    kafkaParams.put("auto.offset.reset", "earliest"); // 从最早的偏移量开始消费消息
    kafkaParams.put("enable.auto.commit", true);  // 采用自动提交 offset 的模式
    kafkaParams.put("auto.commit.interval.ms", 2000); // 每隔两秒提交一次 committed-offset
    kafkaParams.put("group.id", "spark_kafka"); // 消费组名称


    // 创建 Kafka stream
    Collection<String> topics = Collections.singletonList("spark_kafka"); // Kafka 主题名称
    JavaDStream<ConsumerRecord<String, String>> kafkaStream = KafkaUtils.createDirectStream(
            streamingContext,
            LocationStrategies.PreferConsistent(),
            ConsumerStrategies.Subscribe(topics, kafkaParams)  // 订阅 Kafka
    );

    // 定义数据结构
    StructType schema = new StructType()
            .add("key", DataTypes.LongType)
            .add("value", DataTypes.StringType);

    kafkaStream.foreachRDD((VoidFunction<JavaRDD<ConsumerRecord<String, String>>>) rdd -> {
        // 转换为 DataFrame
        Dataset<Row> df = sparkSession.createDataFrame(rdd.map(record -> {
            return RowFactory.create(record.offset(), record.value());  // 将偏移量和 value 聚合
        }), schema);

        // 写入到 PostgreSQL
        df.write()
                // 选择写入数据库的模式
                .mode(SaveMode.Append) // 采用追加的写入模式

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。