KafkaStream——Spark对Kafka的数据进行清洗(java语言编写)

已于 2023-04-25 14:30:37 修改
阅读量531 收藏 1
点赞数
分类专栏： # Kafka # Spark 文章标签： kafka spark 大数据
于 2023-04-24 16:02:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Helen_1997_1997/article/details/130343191
版权
Spark 同时被 2 个专栏收录
15 篇文章 0 订阅
订阅专栏
Kafka
5 篇文章 0 订阅
订阅专栏

目录

一、添加依赖

二、main下配置log4j

三、javaSpark清洗数据(一)

1.代码编写

2.查看对应kafka的topic——user_friends

四、javaSpark清洗数据(二)

1.代码编写

2.查看对应kafka的topic——event_attendees

一、添加依赖

 <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <maven.compiler.source>1.8</maven.compiler.source>
    <maven.compiler.target>1.8</maven.compiler.target>
  </properties>

  <dependencies>
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.11</version>
      <scope>test</scope>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
    <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-clients</artifactId>
      <version>2.8.0</version>
    </dependency>
    <!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka -->
    <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka_2.12</artifactId>
      <version>2.8.0</version>
    </dependency>
    <dependency>
      <groupId>org.apache.kafka</groupId>
      <artifactId>kafka-streams</artifactId>
      <version>2.8.0</version>
    </dependency>
  </dependencies>

  <build>
    <pluginManagement><!-- lock down plugins versions to avoid using Maven defaults (may be moved to parent pom) -->
      <plugins>
        <!-- clean lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#clean_Lifecycle -->
        <plugin>
          <artifactId>maven-clean-plugin</artifactId>
          <version>3.1.0</version>
        </plugin>
        <!-- default lifecycle, jar packaging: see https://maven.apache.org/ref/current/maven-core/default-bindings.html#Plugin_bindings_for_jar_packaging -->
        <plugin>
          <artifactId>maven-resources-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-compiler-plugin</artifactId>
          <version>3.8.0</version>
        </plugin>
        <plugin>
          <artifactId>maven-surefire-plugin</artifactId>
          <version>2.22.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-jar-plugin</artifactId>
          <version>3.0.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-install-plugin</artifactId>
          <version>2.5.2</version>
        </plugin>
        <plugin>
          <artifactId>maven-deploy-plugin</artifactId>
          <version>2.8.2</version>
        </plugin>
        <!-- site lifecycle, see https://maven.apache.org/ref/current/maven-core/lifecycles.html#site_Lifecycle -->
        <plugin>
          <artifactId>maven-site-plugin</artifactId>
          <version>3.7.1</version>
        </plugin>
        <plugin>
          <artifactId>maven-project-info-reports-plugin</artifactId>
          <version>3.0.0</version>
        </plugin>
      </plugins>
    </pluginManagement>
      <plugins>
          <plugin>
              <groupId>org.apache.maven.plugins</groupId>
              <artifactId>maven-compiler-plugin</artifactId>
              <configuration>
                  <source>8</source>
                  <target>8</target>
              </configuration>
          </plugin>
      </plugins>
  </build>

二、main下配置log4j

# Set everything to be logged to the console
log4j.rootCategory=ERROR, console
log4j.appender.console=org.apache.log4j.ConsoleAppender
log4j.appender.console.target=System.err
log4j.appender.console.layout=org.apache.log4j.PatternLayout
log4j.appender.console.layout.ConversionPattern=%d{yy/MM/dd HH:mm:ss} %p %c{1}: %m%n

# Set the default spark-shell log level to WARN. When running the spark-shell, the
# log level for this class is used to overwrite the root logger's log level, so that
# the user can have different defaults for the shell and regular Spark apps.
log4j.logger.org.apache.spark.repl.Main=WARN

# Settings to quiet third party logs that are too verbose
log4j.logger.org.spark_project.jetty=WARN
log4j.logger.org.spark_project.jetty.util.component.AbstractLifeCycle=ERROR
log4j.logger.org.apache.spark.repl.SparkIMain$exprTyper=INFO
log4j.logger.org.apache.spark.repl.SparkILoop$SparkILoopInterpreter=INFO

# SPARK-9183: Settings to avoid annoying messages when looking up nonexistent UDFs in SparkSQL with Hive support
log4j.logger.org.apache.hadoop.hive.metastore.RetryingHMSHandler=FATAL
log4j.logger.org.apache.hadoop.hive.ql.exec.FunctionRegistry=ERROR

三、javaSpark清洗数据(一)

1.代码编写

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;

import java.util.ArrayList;
import java.util.Properties;

/**
 * 清洗前：
 * user      ,friends
 * 3197468391,1346449342 3873244116 4226080662 1222907620
 *
 * 清洗后：
 * user      ,friends   目标：topic:user_friends_raw
 * 3197468391,1346449342
 * 3197468391,3873244116
 * 3197468391,4226080662
 * 3197468391,1222907620
 */

public class UserFriendStream {
    public static void main(String[] args) {
        Properties prop = new Properties();
        prop.put(StreamsConfig.APPLICATION_ID_CONFIG, "userfriends1");
        prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "lxm147:9092");
        prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");// false 手动提交 true 自动提交(需要频繁更换消费者)
        prop.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 1000);
        // earliest latest none
        prop.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        prop.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        prop.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());

        StreamsBuilder builder = new StreamsBuilder();
        // TODO 主要的业务逻辑处理 start
        builder.stream("user_friends_raw")
                .flatMap((key, value) -> {// value = 3197468391,1346449342 3873244116 4226080662 1222907620
                    ArrayList<KeyValue<String, String>> list = new ArrayList<>();
                    String[] fields = value.toString().split(",");
                    if (fields.length == 2) {
                        String userID = fields[0];
                        String[] friends = fields[1].split("\\s+");
                        for (String friendID :
                                friends) {
                            System.out.println(userID + "\t" + friendID);//3197468391,1346449342
                            KeyValue<String, String> kv = new KeyValue<>(null, userID + "," + friendID);
                            list.add(kv);
                        }
                    }
                    return list;
                })
                .to("user_friends");

        // TODO 主要的业务逻辑处理 end
        Topology topo = builder.build();
        KafkaStreams streams = new KafkaStreams(topo, prop);
        streams.start();
    }
}

2.查看对应kafka的topic——user_friends

[root@lxm147 config]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list lxm147:9092 --topic user_friends
user_friends:0:30386403

四、javaSpark清洗数据(二)

1.代码编写

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.common.serialization.Serdes;
import org.apache.kafka.streams.*;

import java.util.ArrayList;
import java.util.Properties;

/**
 * 清洗前：
 * event     ,  yes               ,              maybe              ,invited               ,no
 * 1159822043,1975964455 3973364512,2733420590 1350834692 1324909047,1723091036 3795873583,3575574655 1077296663
 * 
 *      event,friendid,status
 * 1159822043,1975964455,yes
 * 1159822043,3973364512,yes
 * 1159822043,2733420590,maybe
 * 1159822043,1350834692,maybe
 * 1159822043,1723091036,invited               
 * 1159822043,3575574655,no
 */
public class EventAttendStream {
    public static void main(String[] args) {
        Properties prop = new Properties();
        prop.put(StreamsConfig.APPLICATION_ID_CONFIG, "userfriends");
        prop.put(StreamsConfig.BOOTSTRAP_SERVERS_CONFIG, "lxm147:9092");
        prop.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false");// false 手动提交 true 自动提交(需要频繁更换消费者)
        prop.put(StreamsConfig.COMMIT_INTERVAL_MS_CONFIG, 1000);
        // earliest latest none
        prop.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
        prop.put(StreamsConfig.DEFAULT_KEY_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        prop.put(StreamsConfig.DEFAULT_VALUE_SERDE_CLASS_CONFIG, Serdes.String().getClass());
        StreamsBuilder builder = new StreamsBuilder();

        // TODO 业务逻辑处理 start
        builder.stream("event_attendees_raw")
                .flatMap((key, value) -> {
                    ArrayList<KeyValue<String, String>> list = new ArrayList<>();
                    String[] fields = value.toString().split(",");
                    String eventID = fields[0];
                    if (eventID.trim().length() > 0) {
                        if(fields.length>=2){
                            String[] yesID = fields[1].split("\\s+");
                            for (String y :
                                    yesID) {
                                System.out.println(eventID+"\t"+y+" yes");
                                list.add(new KeyValue<>(null,eventID+","+y+",yes"));
                            }
                        }if(fields.length>=3){
                            String[] maybeID = fields[2].split("\\s+");
                            for (String y :
                                    maybeID) {
                                System.out.println(eventID+"\t"+y+" maybeID");
                                list.add(new KeyValue<>(null,eventID+","+y+",maybeID"));
                            }
                        }if(fields.length>=4){
                            String[] invitedID = fields[3].split("\\s+");
                            for (String y :
                                    invitedID) {
                                System.out.println(eventID+"\t"+y+" invitedID");
                                list.add(new KeyValue<>(null,eventID+","+y+",invitedID"));
                            }
                        }if(fields.length>=5){// 判断no的位置是否有值
                            String[] noID = fields[4].split("\\s+");
                            for (String y :
                                    noID) {
                                System.out.println(eventID+"\t"+y+" noID");
                                list.add(new KeyValue<>(null,eventID+","+y+",noID"));
                            }
                        }
                    }
                    return list;
                })
                .to("event_attendees");
        // TODO 主要的业务逻辑处理 end
        Topology topo = builder.build();
        KafkaStreams streams = new KafkaStreams(topo, prop);
        streams.start();
    }
}

2.查看对应kafka的topic——event_attendees

[root@lxm147 config]# kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list lxm147:9092 --topic event_attendees
event_attendees:0:11247092
雷神乐乐
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark学习-54-Spark RDD的clean()方法
九师兄
12-07 2636
spark里面，大量使用了一个方法, ClosureCleaner.clean()// 这里调用了SparkContext的clean方法 // clean方法实际上调用了ClosureCleaner的clean方法，这里一再清除闭包中的不能序列化的变量，防止RDD在网络传输过程中反序列化失败。 val cleanF = sc.clean(f)private[spark] def c
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。本文首先对sparkstreaming嵌入kafka的方式进行归纳总结，之后简单阐述Sparkstreaming+kafka在舆情项目中的应用，最后将自己在SparkStreaming+kafka的实际优化中的一些经验进行归纳总结。（如有任何纰漏欢迎补充来踩，我会第一时间改正^v^）用sparkstreaming流式处理kafka中的数据，第一步当然是先把数据接收过来，
基于JAVA API方式使用Kafka——编写生产者客户端.docx
06-11
基于JAVA API方式使用Kafka——编写生产者客户端 记录我的学习之旅，每份文档倾心倾力，带我成我大牛，回头观望满脸笑意，望大家多多给予意见，有问题或错误，请联系 我将及时改正；借鉴文章标明出处，谢谢
Kafka数据清理机制
qq_43012298的博客
02-19 713
Apache Kafka中数据清理机制涉及的主要概念有两个：基于时间或大小的日志保留策略，以及日志压缩。这些特性允许Kafka管理其存储空间，保留有用的数据，同时清除过时或重复的数据。
Spark对数据进行清洗，将数据保存到本地并写入Mysql数据库 | 案例
weixin_52299264的博客
02-28 5004
通过编写Spark程序统计各城市的住宿场所数量和房间数量，并根据城市房间数量降序排列，输出前10条统计结果，将统计结果保存至本地。同时在MySQL创建数据库并在其中创建table3_2，将统计结果写入表table3_2中。要求输出字段包含：省份、城市、住宿场所数量、房间数量。 原数据 Spark源代码 import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} import java.sql.{Conn
Spark项目实战-数据清洗
热门推荐
Legosnow的博客
04-14 1万+
SparkSql单次处理Web日志，分析用户留存率
Java批量数据清洗
qq_45122010的博客
05-09 2957
数据清洗
九耶丨钛伦特-教你使用Java语言清洗京东商品数据
m0_69234258的博客
04-08 753
写Mapper方法，继承于Mapper，注意输入，输出的类型，在Mapper中输入只能是LongWritable，Text，因为LongWritable是行号，Text是内容，不是String是因为String的序列化就是Text。
java——爬虫和数据清洗
qq_43761222的博客
10-16 4562
数据清洗 什么是数据清洗 1.数据清洗(Data cleaning)– 对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。 数据清洗从名字上也看的出就是把“脏”的“洗掉”，指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值等。 为什么进行数据清洗 因为数据仓库中的数据是面向某一主题的数据的集合，这些数据从多个业务系统中抽取而来而且包含历史数据，这样就避免不了有的数据是错误数据、有的数据相互之间有冲突， 这些错误的或有冲突的数据显然
Kafka_集成Spark
weixin_61959079的博客
07-11 351
Spark 是一个在大数据开发中非常常用的组件。可以用于 Kafka 的生产者，也可以用于Spark 的消费者。
KafkaStream之时间窗口WindowBy详解
02-24
KafkaStream之时间窗口WindowBy的详细解释和例子接收，阐述grace方法和suppress方法 的妙用，还有自定义TimeStampExtractor的详细示例
MichaelG.Noll：整合Kafka到SparkStreaming——代码示例和挑战
03-03
本文，Verisign实验室大规模数据分析基础设施的技术主管Michael通过示例对Kafka整合到SparkStreaming进行了详细讲解，更分享了该领域的现状和一些注意点。作者MichaelG.Noll是瑞士的一位工程师和研究员，效力于...
【spark】关于spark处理上百T数据清洗过滤的思考
lsr40的博客
02-12 2419
我，菜鸡一只！ 本文会通过读取数据文件，外部传入参数，处理数据，保存数据，参数设置这几个点来宏观的说说我自己对于spark使用中的一些注意点 继上一次写文章到现在好久了哦！ 工作上，数据的日常需求还是一直有的，然后我自己又想接一接java功能上的需求（多写写java代码提升自己的眼界），在这样的情况下，我的工作已经基本饱和了，结果突然领导说还要开个新的数据模型，年前要给测试反馈，所以12...
【spark对数据进行清理】
libo85的博客
01-14 393
if(y(6).contains("五星")){(y(6).contains("四星")){(y(6).contains("三星")){(y(6).contains("二星")){// 把一行分割的数据 遍历。
Spark Streaming 数据清理机制
weixin_43520450的博客
06-04 732
一、DStream 和 RDD 我们知道Spark Streaming 计算还是基于Spark Core的，Spark Core 的核心又是RDD。所以Spark Streaming 肯定也要和RDD扯上关系。然而Spark Streaming 并没有直接让用户使用RDD而是自己抽象了一套DStream的概念。 DStream 和 RDD 是包含的关系，你可以理解为Java里的装饰模式，也就是DStream 是对RDD的增强，但是行为表现和RDD是基本上差不多的。 都具备几个条件： （1）具有类似的tr
Spark_shell数据清洗案例
cai_and_luo的博客
06-29 1293
spark数据清洗案例 本文的目的是模拟公司的实际数据清洗 数据来源是我自己用java代码模拟的，模拟代码及数据文件会上传至scdn，可以自由下载 本文的数据格式如下（en事件名称有四种类型） 将本地文件上传至sparkRDD scala> val optionRDD=sc.textFile("/opt/tmp/logs/op.log") optionRDD: org.apache.spark.rdd.RDD[String] = /opt/tmp/logs/op.log MapPartiti
如何用spark对清理好的数据进行数据处理
weixin_43031220的博客
05-13 325
需要注意的是，在Spark程序中，我们使用了一些Java 8中的Lambda表达式和方法引用，这些新特性可以让我们更加简洁地编写代码。方法统计每种颜色和尺寸的销售量，并计算总销售额。最后，我们将结果保存到文件中。对象中，我们保存了颜色、尺寸、销售量、价格和时间戳等信息。方法将数据文件读取到RDD中。创建一个Spark应用程序。在这个Spark程序中，我们首先使用。方法将每一行数据转换为一个。
Spark Cleaner 清理器
sy532151398的博客
04-30 1317
Spark Cleaner 清理器功能概述Cleaner的创建清理逻辑RDD的清理Shuffle的清理Broadcast的清理Accum的清理Checkpoint的清理参考 功能概述 这里使用的是一个弱引用（WeakReference）队列，主要用于对RDD，shuffle和广播状态异步清理。当这些对象被gc回收以后，会被放入待清理队列referenceQueue中等待清理，实际的清理动作是在单独...
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
最新发布
qq_41905051的博客
04-23 1270
3节点ubuntu24.04服务器docker-compose方式部署高可用elk+kafka日志系统并接入nginx日志
kafka stream流式清洗数据
08-29
4. 在Kafka Stream应用程序中对接收到的消息进行清洗处理，根据定义的逻辑对数据进行转换、过滤等操作。 5. 将处理后的数据发送到输出主题，可以使用Kafka Producer API来实现。 通过这样的流程，你可以使用Kafka ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值