SparkStream从kafka读取数据编码问题（Java）

最新推荐文章于 2022-09-20 16:37:21 发布
最新推荐文章于 2022-09-20 16:37:21 发布
阅读量6.7k 收藏 5
点赞数
分类专栏： BigData Life 工作总结 文章标签： SparkStreaming kafka 编码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liguangzhu620/article/details/77412154
版权
当SparkStreaming使用Java从Kafka读取数据时，若源文件编码非UTF-8，会出现乱码。尽管Kafka官方参数未明确指定编码，但通过查阅源码发现可以设置`serializer.encoding`为`gb18030`等其他编码。通过在Kafka配置中添加该参数，成功解决了乱码问题。以下示例展示了如何在Java中配置SparkStream从Kafka读取gb18030编码的数据。
摘要由CSDN通过智能技术生成

SparkStreaming从kafka读取文件流时（Java），默认是utf-8的，如果源文件的编码不是utf-8，那就会出现乱码现象，但是kafka的官网参数里没有关于编码的参数，不过kafka的源码里面是有的。源码如下：

最低0.47元/天 解锁文章
leep-li
关注
专栏目录
Spring Boot+Kafka实战生产级Kafka消费组
程序员光剑
08-06 2522
Kafka是一个开源分布式消息系统，最初由LinkedIn开发，之后成为Apache项目的一部分。Kafka主要用于大数据实时流处理，具有低延迟、高吞吐量等特点。本文将会从基本概念、术语说明、原理及应用场景三个方面对Kafka进行详细介绍。Kafka作为一个分布式系统，需要配合Zookeeper实现主备、容错等功能。因此在实际中部署Kafka集群至少需要2台服务器，其中一台为zookeeper服务器。
Java实现 SparkStreaming读取Kafka数据，并且单词累加计数
qq_37321741的博客
08-24 4961
网络上大部分文章都没有做到真正的单词累加计数，终于研究完以后成功实现 简单的Kafka生产者 package com.zwj.utils; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import org.a...
sparkStreaming获取kafka数据（java版本）
a1361585的博客
10-29 1101
环境 spark-2.2.0 kafka_2.11-0.10.0.1 jdk1.8 配置好jdk，创建项目并将kafka和spark的jar包添加到项目中，除此之外还需要添加spark-streaming-kafka-*****.jar，笔者这里用的是spark-streaming-kafka-0-10_2.11-2.2.0.jar，可在spark官网上自行下载 1 ...
JAVA开发Spark-读取kafka数据
weixin_49770647的博客
04-25 929
import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.common.serialization.StringDeserializer; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaPairRDD; import org.apache.spark.api.java.JavaSparkContext; ..
java读写德卡数据_Spark Streaming 读取Kafka数据写入ES
weixin_28688791的博客
02-26 427
简介：目前项目中已有多个渠道到Kafka的数据处理，本文主要记录通过Spark Streaming 读取Kafka中的数据，写入到Elasticsearch，达到一个实时(严格来说，是近实时，刷新时间间隔可以自定义)数据刷新的效果。应用场景：业务库系统做多维分析的时候，数据来源各不相同。很多历史数据都是每天定时跑批生成。但是做分析产品，对于T+0日的数据， 则不好取。对于T+0日的数据，目前我采取...
java读取、写入kafka数据流
WoAiShuiGeGe的博客
08-31 4515
import org.apache.kafka.clients.consumer.*; import java.util.Collections; import java.util.Properties; public class jkafka_demo { public static void main(String[] args) throws Exception { try { Properties props = new Properties(); props.put(.
Spark Streaming从Kafka中读数据的两种方式
ThreeAspects的博客
04-23 1086
   Spark Streaming流式处理kafka中的数据，首先是把数据接收过来，然后转换为Spark Streaming中的数据结构DStream。接收数据的方式有两种：利用Receiver接收数据 与 Direct。 基于Receiver的方式 流程： 此方法使用Receiver接收数据。Receiver是使用Kafka高阶API接口实现的。与所有接收器一样，从Kafka通过Receiv...
Spark之 Spark Streaming整合kafka(Java实现版本)
这里将承载一段最初的记忆
03-18 525
pom依赖 <properties> <scala.version>2.11.8</scala.version> <hadoop.version>2.7.4</hadoop.version> <spark.version>2.1.3</spark.version...
基于PySpark整合Spark Streaming与Kafka
pysense的博客
03-06 8835
  本文内容主要给出基于PySpark程序，整合Spark Streaming和Kafka，实现实时消费和处理topic消息，为Python开发大数据实时计算项目提供基本参考。（后续将陆续给出基于Scala开发大数据实时计算项目的文章） 1 程序环境准备： 虚拟机A：启动单实例kafka服务 虚拟机B：运行PySpark程序 在VM A，程序环境要求安装jdk1.8以上以及与kafka匹配版本的s...
用java程序完成从kafka队列读取消息到sparkstreaming再从sparkstreaming里把数据导入mysql中
weixin_48445640的博客
11-24 482
有一段时间没好好写博客了，因为一直在做一个比较小型的工程项目，也常常用在企业里，就是将流式数据处理收集，再将这些流式数据进行一些计算以后再保存在mysql上，这是一套比较完整的流程，并且可以从数据库中的数据再导入到hadoop上，再在hadoop上进行离线较慢的mapreduce计算，这是我后面要进行的项目。 项目准备环境 （1）zookeeper： （2）spark （3）kafka （4）mysql （5）navicat （6）三台虚拟机 （7）jdk （8）intellij IDEA （
Spark Streaming消费Kafka Avro数据
upupfeng的博客
06-22 2212
场景 上游数据同步mysql的binlog数据并推到kafka，我们作为下游需要将数据接过来，进行处理，之后存入对外提供服务的数据库中。 方案 使用Spark Streaming消费kafka实现近实时的效果，使用kafka低级api direct的方式，来接收数据 direct 方式会周期性地查询Kafka，来获得每个topic+partition的最新的offset，从而定义每个batch的...
java读取kafka数据写入hbase
mianhuatang__的博客
04-26 742
创建kafka消费者对象和hbase实例： Properties procounsumer = new Properties(); //kafka是服务器地址 procounsumer.put("zookeeper.connect", "dap03:2181/kafka"); //定义消费者组 procounsumer.put("group.id", "aaa"); procounsumer
sparkStreaming读取kafka的两种方式
热门推荐
weixin_39843430的博客
04-20 1万+
第一个是：Receiver-base 基于Receiver的kafka数据消费模式就是先把数据从kafka中读取出来然后缓存到内存然后再定时处理。这里要引入一个参数配置spark.streaming.receiver.writeAheadLog.enable 防止集群闪退偏移量没做好造成数据丢失。 Receiver-basede kafka读取模式是基于Kafka的高阶（high-...
SparkStreaming（java）读取Kafka（kerberos）写入Hbase（kerberos）
EdwardWang_的博客
04-28 2674
使用SparkStreaming（java）读取开启kerberos的Kafka的数据写入Hbase
kafka（四）：kafka javaAPI入库程序
幻神舞的专栏
04-09 564
文章目录说明讲解maven导包连接kafkakerberos认证方式一方式二应用总结 说明 本博客每周五更新一次。 本博客主要介绍java代码实现kafka数据入库的代码实现，并包含kerberos认证实现。kafka版本为2.3.0 讲解 maven导包 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId
java 读取文件内容写入kafka
qq_40771567的博客
04-12 1164
package Project; import org.apache.kafka.clients.producer.KafkaProducer; import org.apache.kafka.clients.producer.ProducerRecord; import java.io.BufferedReader; import java.io.FileReader; import java.util.Properties; public class KafkaProducerDemo { .
Spark Streaming + Kafka 工具代码（Scala语言）
weixin_39161031的博客
04-13 347
Spark Streaming + Kafka 代码样例（Scala语言） 一些很常用的工具类搬运 Sample1 (Array[byte]) 主要演示了从kafka中获取byte数组的方法 package spark.test import data.processing.avro.AvroDecoder import kafka.serializer.StringDecoder import...
java操作kafka读写操作
mteng59101的博客
09-20 2353
kafka,java,KAFKA,JAVA,通过java操作kafka生产和使用消息
SparkStreaming与Kafka整合实战：高效数据存取
示例业务是使用Spark Streaming从Kafka中读取数据，不做任何处理，然后直接将这些数据回写到另一个Kafka主题，以此来验证Spark Streaming与Kafka的整合功能。 3. 目标： 学习和理解Spark Streaming与Kafka结合的...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值