Spark2消费Kafka中的Protocol Buffer3（Protobuf）数据

最新推荐文章于 2024-09-11 17:25:43 发布
最新推荐文章于 2024-09-11 17:25:43 发布
阅读量804 收藏
点赞数
分类专栏： Spark 文章标签： spark kafka protobuf
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010993514/article/details/114370290
版权

运行环境

集群环境：CDH6
CDH版本号：6.2.0-1.cdh6.2.0.p0.967373

Protocol Buffer3的使用

  1. 创建Maven项目，导入Protocol Buffer3依赖，注意：这里导入依赖的版本要和下面下载的Protocol Buffer3包一致，此处使用3.15.4
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>3.15.4</version>
        </dependency>
  1. 编写.proto文件，示例如下：
syntax = "proto3";

option java_package = "com.donews";
option java_outer_classname = "UserInfoBuf";

message UserInfo {
  enum Gender {
    GENDER_UNKNOWN = 0;
    GENDER_MALE = 1;
    GENDER_FEMALE = 2;
  }
  message TaobaoExtra {
    string userid = 1;
    string open_sid = 2;
    string top_access_token = 3;
    string avatar_url = 4;
    string havana_sso_token = 5;
    string nick = 6;
    string open_id = 7;
    string top_auth_code = 8;
    string top_expire_time = 9;
  }
  message WechatExtra {
    string access_token = 1;
    int64 expiresIn = 2;
    string refresh_token = 3;
    string open_id = 4;
    string scope = 5;
    string nick_name = 6;
    int32 sex = 7;
    string province = 8;
    string city = 9;
    string country = 10;
    string headimgurl = 11;
    repeated string privilege = 12;
    string unionid = 13;
  }
  uint64 id = 1;
  string user_name = 2;
  string wechat = 3;
  string head_img = 4;
  Gender gender = 5;
  string birthday = 6;
  string token = 7;
  string third_party_id = 8;
  bool is_new = 9;
  WechatExtra wechat_extra = 10;
  TaobaoExtra taobao_extra = 11;
  string mobile = 12;
  string invite_code = 13;
  bool is_deleted = 14;
  bool is_invited = 15;
  string suuid = 16;
  string created_at = 17;
  string channel = 18;
  string version_code = 19;
  string package_name = 20;
}
  • syntax = "proto3";定义protobuf协议版本，使用proto3的语法
  • option java_package = "com.donews";文件选项，生成的Java代码所在的包
  • option java_outer_classname = "UserInfoBuf";生成的Java类名
  1. 此处是在window环境下生成相应的.java文件，则下载Protocol Buffers 的window包，版本和Maven依赖保持一致，使用3.15.4， 如图：
    在这里插入图片描述
  2. 下载完成后解压目录到spark项目目录下
    在这里插入图片描述
  3. 执行命令行生成.java文件，这里以.proto在resources目录下为例
    在这里插入图片描述
    执行如下命令：
D:\IdeaProjects\spark-pb3-demo>cd protoc-3.15.4-win64/bin

D:\IdeaProjects\spark-pb3-demo\protoc-3.15.4-win64\bin>protoc.exe --proto_path ..\..\src\main\resources --java_out ..\..\src\main\scala ..\..\src\main\resources\UserInfo.proto

执行完命令行，可看到生成了如图所示的文件
在这里插入图片描述

Spark消费案例一

这里直接贴代码，pom文件和代码如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.donews</groupId>
    <artifactId>spark-pb3-demo</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <maven.compiler.source>1.8</maven.compiler.source>
        <maven.compiler.target>1.8</maven.compiler.target>
        <spark.version>2.4.0</spark.version>
        <encoding>UTF-8</encoding>
    </properties>

    <dependencies>
        <!-- 导入spark的依赖 -->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>com.google.protobuf</groupId>
            <artifactId>protobuf-java</artifactId>
            <version>3.15.4</version>
        </dependency>
    </dependencies>
    <build>
        <pluginManagement>
            <plugins>
                <!-- 编译scala的插件 -->
                <plugin>
                    <groupId>net.alchim31.maven</groupId>
                    <artifactId>scala-maven-plugin</artifactId>
                    <version>3.2.2</version>
                </plugin>
                <!-- 编译java的插件 -->
                <plugin>
                    <groupId>org.apache.maven.plugins</groupId>
                    <artifactId>maven-compiler-plugin</artifactId>
                    <version>3.5.1</version>
                </plugin>
            </plugins>
        </pluginManagement>

        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <executions>
                    <execution>
                        <id>scala-compile-first</id>
                        <phase>process-resources</phase>
                        <goals>
                            <goal>add-source</goal>
                            <goal>compile</goal>
                        </goals>
                    </execution>
                    <execution>
                        <id>scala-test-compile</id>
                        <phase>process-test-resources</phase>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
            </plugin>
            <!-- 打jar插件 -->
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-shade-plugin</artifactId>
                <version>2.4.3</version>
                <executions>
                    <execution>
                        <phase>package</phase>
                        <goals>
                            <goal>shade</goal>
                        </goals>
                        <configuration>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

</project>

package com.donews

import java.nio.ByteBuffer

import org.apache.kafka.common.serialization.{ByteBufferDeserializer, StringDeserializer}
import org.apache.spark.SparkConf
import org.apache.spark.streaming.kafka010.ConsumerStrategies.Subscribe
import org.apache.spark.streaming.kafka010.LocationStrategies.PreferConsistent
import org.apache.spark.streaming.kafka010.{CanCommitOffsets, HasOffsetRanges, KafkaUtils}
import org.apache.spark.streaming.{Seconds, StreamingContext}

/**
 * @title PB3OuterDemo
 * @projectName spark-pb3-demo
 * @author Niclas
 * @date 2021/2/26 15:02
 * @description
 */
object PB3OuterDemo {
  /*
  spark-submit --class com.donews.PB3OuterDemo --master yarn-client --driver-memory 1g --driver-cores 1 --executor-memory 1g --executor-cores 1 --num-executors 1 --queue root.default --conf spark.dynamicAllocation.enabled=false spark-pb3-demo-1.0-SNAPSHOT.jar
   */
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .set("spark.streaming.stopGracefullyOnShutdown", "true")
      .set("spark.streaming.backpressure.enabled", "true")
      .setAppName(this.getClass.getSimpleName)
//      .setMaster("local[*]")

    val ssc = new StreamingContext(conf, Seconds(3))

    val kafkaSourceParams = Map[String, Object](
      "bootstrap.servers" -> "bjxg-bd-slave01:29092,bjxg-bd-slave02:29092,bjxg-bd-slave03:29092,bjxg-bd-slave04:29092,bjxg-bd-slave05:29092",
      "group.id" -> "pb_test",
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[ByteBufferDeserializer],
      "auto.offset.reset" -> "latest",
      "enable.auto.commit" -> (false: java.lang.Boolean)
    )

    val sourceTopic = Array("common-user-info")

    val stream = KafkaUtils.createDirectStream[String, ByteBuffer](
      ssc,
      PreferConsistent,
      Subscribe[String, ByteBuffer](sourceTopic, kafkaSourceParams)
    )

    stream.foreachRDD(rdd => {
      // 获取偏移量
      val offsetRanges = rdd.asInstanceOf[HasOffsetRanges].offsetRanges
      rdd.map(cr =>{
        val UserInfoBytes: ByteBuffer = cr.value()
        val userInfo = UserInfoBuf.UserInfo.parseFrom(UserInfoBytes)
        userInfo
      }).foreach(println)

      stream.asInstanceOf[CanCommitOffsets].commitAsync(offsetRanges)
    })

    ssc.start()
    ssc.awaitTermination()
  }

}

这里打包提到yarn运行的时候出现了报错，如图：
在这里插入图片描述

java.lang.NoSuchMethodError：com.google.protobuf.CodedInputStream.readStringRequireUtf8()Ljava/lang/String

解决方法如下：
根据判断，该问题是引入protobuf-java3依赖和spark内部自带的protobuf-java2依赖冲突，修改pom文件之后程序正常运行，如图：
在这里插入图片描述

                        <configuration>
                            <relocations>
                                <relocation>
                                    <pattern>com.google.protobuf</pattern>
                                    <shadedPattern>shaded.com.google.protobuf</shadedPattern>
                                </relocation>
                            </relocations>
                            <filters>
                                <filter>
                                    <artifact>*:*</artifact>
                                    <excludes>
                                        <exclude>META-INF/*.SF</exclude>
                                        <exclude>META-INF/*.DSA</exclude>
                                        <exclude>META-INF/*.RSA</exclude>
                                    </excludes>
                                </filter>
                            </filters>
                        </configuration>

Spark消费案例二

对于消费单个Topic的情况，我们还可以通过实现Kafka反序列化接口的方式来解析数据，对应的类为：org.apache.kafka.common.serialization.Deserializer ，示例如下：

package com.donews;

import com.google.protobuf.InvalidProtocolBufferException;
import org.apache.kafka.common.serialization.Deserializer;

import java.util.Map;

/**
 * @author Niclas
 * @title UserInfoDeserializer
 * @projectName spark-pb3-demo
 * @date 2021/2/26 17:39
 * @description
 */
public class UserInfoDeserializer implements Deserializer<UserInfoBuf.UserInfo> {
    @Override
    public void configure(Map<String, ?> configs, boolean isKey) {

    }

    @Override
    public UserInfoBuf.UserInfo deserialize(String topic, byte[] data) {
        if (data == null)
            return null;
        try {
            return UserInfoBuf.UserInfo.parseFrom(data);
        } catch (InvalidProtocolBufferException e) {
            e.printStackTrace();
        }
        return null;
    }

    @Override
    public void close() {

    }
}

Spark的消费程序如下：

    val kafkaSourceParams = Map[String, Object](
      "bootstrap.servers" -> "bjxg-bd-slave01:29092,bjxg-bd-slave02:29092,bjxg-bd-slave03:29092,bjxg-bd-slave04:29092,bjxg-bd-slave05:29092",
      "group.id" -> "pb_test",
      "key.deserializer" -> classOf[StringDeserializer],
      "value.deserializer" -> classOf[UserInfoDeserializer],
      "auto.offset.reset" -> "latest",
      "enable.auto.commit" -> (false: java.lang.Boolean)
    )

    val sourceTopic = Array("common-user-info")

    val stream = KafkaUtils.createDirectStream[String, UserInfoBuf.UserInfo](
      ssc,
      PreferConsistent,
      Subscribe[String, UserInfoBuf.UserInfo](sourceTopic, kafkaSourceParams)
    )

完整示例代码见：
https://github.com/PengShuaixin/spark-pb3-demo

参考文档

Protocol Buffer3整理

Niclas_
关注
专栏目录
spark程序读写protobuf格式数据（java语言）
miangangzhen的博客
04-20 9453
在spark上，用protobuf替代json格式作为数据序列化存储谷歌的protobuf一般用来将复杂数据结构序列化为二进制数组，非常适合网络传输等领域，其效率和空间占用都优于json格式。这一次，我在用spark做建模时，打算使用protobuf替换原json格式数据，以获得性能提升。在此记录下实现方式，以及如何避过我遇到的坑。我的环境是spark1.5.0 + java7 + protobuf
spark消费protobuf序列化的kafka数据存到hbase
weixin_45230582的博客
08-07 1424
遇见问题寻求解决办法 因为不知道是什么原因引起了这个问题，所以就尽可能详尽的把所有东西都贴上了，如果是没用的可以自行跳过。 流程是从用spark从kakfa读取数据，将数据存储到hbase里面。数据用protobuf序列化，所以反序列化时用到了protobuf里面的ListValue方法。 然后本地运行得时候数据可以存到hbase，但是将程序打成jar包在集群上用standalone模式运行会报错...
Kafka 消费 Protocol Buffer 数据
weixin_47032745的博客
03-30 812
文档地址：https://developers.google.cn/protocol-buffers/ 1.下载 protocol https://github.com/protocolbuffers/protobuf protobuf-master.zip 2.解压缩至工程目录下 3.下载编译器 https://github.com/protocolbuffers/protobuf/releases protoc-3.15.6-win32.zip 4.解压缩至项目所在位置src文件夹 5.配置 exe
Spark Core读取SequenceFile/Protobuf，和推导公式
qq_15300683的博客
04-25 1518
import org.apache.hadoop.io.BytesWritable import org.apache.spark.{SparkConf, SparkContext} object ReadSeqenceFileApp { def main(args: Array[String]): Unit = { val conf = new SparkConf() // ...
pq:具有Kafka支持和JSON输出的命令行Protobuf解析器
05-10
q protobuf转换为JSON解串器，用Rust编写 pq是一种工具，它在给定一组预编译的.fdset文件的情况下反序列化protobuf消息。 它可以理解varint / leb128分隔的/ i32be流，并且可以连接到Kafka。 当输出到tty时， pq会漂亮打印，但是您应该将其通过管道传输到jq以进行更全功能的json处理。 下载 pq在： cargo install pq 。 您也可以从下载静态二进制文件。 用法 new现在，您可以传递一个proto文件，并使用protoc使pq即时对其进行编译： $ pq --protofile ./tests/protos/dog.proto --msgtype com.example.dog.Dog <./tests/samples/dog { "breed": "gsd", "age": 3, "temperame
Protobuf结合Spark Structured Streaming使用
qq_35583915的博客
05-09 365
背景     在项目开发中对流式数据使用Spark Structured Streaming进行处理，处理流程为：消息中间件(source) -> Spark Structured Streaming(work) -> AFS(sink)。     在source->work这个过程中，消息以protobuf形式存储，其中 Spark Structured Streaming接受到的数据格式为Array[Byt
【spark床头书系列】DataFrameReader可以读取多少种数据？【建议收藏必看】
wang2leee的博客
11-26 496
Spark DataFrame可以读取多少种数据
数据分析大数据面试题大杂烩01
GavinKai
03-09 1770
互联网:通过埋点实时计算用户浏览频次用优惠券等措施吸引用户,通过历史信息用非智能学习的title方式构造用户画像(抖音,京东) 电信,银行统计营收和针对用户的个人画像:处理大量非实时数据 政府:健康码,扫码之后确诊,找出与确诊对象有关联的人 订单 订单表(除商品以外所有信息),商品详情表,通过搜集用户title进行定制化推荐 点击流数据 通过埋点进行用户点击行为分析 FLINK一般用来做实时 SPARK一般用来做离线 原理胜过代码 List 与set 的区别? List特点:元素有放入顺序,元素可重复 ,
Spark基础全解析
热门推荐
vinfly_li的博客
02-28 2万+
SPARK全解析 标签（空格分隔）： Spark SPARK全解析 Spark是什么？ Spark 源码编译 Spark本地模式安装配置及Spark Shell基本使用 Spark集群 Spark Application开发、运行及监控（IDEA） Spark 日志监控（HistoryServer）配置 Spark RDD Spark共享变量 Spark 内核 Spark 依赖 Spa...
《后端架构师技术图谱》
weixin_70730532的博客
06-15 791
（Toc generated by simple-php-github-toc ）《java队列——queue详细分析》《LinkedList、ConcurrentLinkedQueue、LinkedBlockingQueue对比分析》每个节点最多有两个叶子节点。左右两个子树的高度差的绝对值不超过1，并且左右两个子树都是一棵平衡二叉树。二叉查找树（Binary Search Tree），也称有序二叉树（ordered binary tree）,排序二叉树（sorted binary tree）。MySQL是
SpringBoot整合kafka及ProtoBuf实现跨平台跨语言的信息交互
10-28
SpringBoot2.x整合Kafka实现消息中间件的发送及消费监听业务，其序列化方式采用ProtoBuf协议实现跨平台、跨语言的数据传输方式。
spring boot 整合amqp+protobuf协议+spark+spark Stream kafka的包依赖pom.xml
swjtu_yhz的博客
01-22 744
xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> 4.0.0 xxx.xxx xxxxxxxx 0.0.1-SNAPSHOT jar xxxxx-xx-xxxxx xxxxxxxxxxxx org.spri
kafka+protobuf+java_基于Kafka+SparkStreaming+HBase实时点击流案例
weixin_42363854的博客
02-24 391
背景Kafka实时记录从数据采集工具Flume或业务系统实时接口收集数据，并作为消息缓冲组件为上游实时计算框架提供可靠数据支撑，Spark 1.3版本后支持两种整合Kafka机制(Receiver-based Approach 和 Direct Approach)，具体细节请参考文章最后官方文档链接，数据存储使用HBase实现思路实现Kafka消息生产者模拟器Spark-Streaming采用Di...
Spark消费Kafka的两种方式
06-11 6347
在这里插入代码片
Kafka性能调优实战：同等资源配置性能提升20几倍的秘诀
中间件兴趣圈
06-20 1507
打破思维惯性，异步发送也能保证顺序性语义？
Kafka系列之-Kafka Protocol实例分析
weixin_30763455的博客
01-16 341
　　本文基于A Guide To The Kafka Protocol文档，以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaCluster类。整理出Kafka中有关 Metadata API Produce API Fetch API Offset API(Aka ListOffset) Offset C...
kafka2.0-序列化与反序列化_07
yangyaming's blog
09-09 946
概要：先讲讲kafka中简单的序列化方式，以及实现，然后再使用protobuf实现一个自定义序列化的小程序 正如之前文章中写过的例子程序，我们配置的序列化方式都是下面这样的。 //生产者的序列化配置 props.put(&quot;key.serializer&quot;, &quot;org.apache.kafka.common.serialization.StringSerializer&quot;); props.p...
maven项目引入protobuf依赖后的冲突规避方案
u011514514的专栏
12-13 2653
1.spark项目引入对protobuf文件解析支持后，为避免与spark本身依赖的2.5版本冲突，需要使用maven shade间接引入，对应的pom如下： -------------------------------------------------------------------------------------------------------------- <?xml version="1.0" encoding="UTF-8"?> <project xmln.
解锁SAP数据的潜力：SNP Glue与SAP Datasphere的协同作用
最新发布
SNP公司——中国数据转型公司
09-11 962
在当今数据驱动的商业环境中，企业需要强大的工具来整合和优化他们的SAP数据。本文探讨了SNP Glue与SAP Datasphere之间的结合，展示了如何利用SNP Glue的高性能集成解决方案，实现与基于云的数据仓库和数据湖的无缝连接。通过近乎实时的数据传输和增强的数据共享能力，企业可以更有效地管理内外部数据，推动预测性维护和数据科学应用。此外，我们还介绍了SAP的BW Bridge如何在过渡到Datasphere时提供支持，以及SNP Glue在提升数据处理效率和跨平台集成中的关键作用。这一解决方案为希
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值