SparkStreaming读取Kafka读取记录问题。

最新推荐文章于 2022-01-10 13:09:22 发布
最新推荐文章于 2022-01-10 13:09:22 发布
阅读量586 收藏
点赞数
分类专栏： IT 软件 文章标签： Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ssf1987/article/details/85231145
版权

有个业务，Spark程序需要读取Kafka，然后写入Redis上，Spark任务运行在Yarn集群上，由于没有开通网络策略，无法定位Spark在yarn节点上的运行情况和日志。总是报错误，中间有Redis和Kafka的报错Log，找人看了下网络，下网络也都是通的，最后看到一条这样的报错：

INFO Reconnect due to socket error: java.nio.channels.ClosedChannelException (kafka.consumer.SimpleConsumer

org.I0Itec.zkclient.exception.ZkTimeoutException: Unable to connect to zookeeper server within timeout: 10000

最后，发现是Yarn集群各个节点上的/etc/hosts文件里面没有添加kafka集群的机器名、IP地址。

ssf1987
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Java实现 SparkStreaming读取Kafka数据，并且单词累加计数
qq_37321741的博客
08-24 4956
网络上大部分文章都没有做到真正的单词累加计数，终于研究完以后成功实现 简单的Kafka生产者 package com.zwj.utils; import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig; import org.a...
Spark Streaming 读取Kafka数据
fczheng的博客
10-11 253
1.引入Maven依赖 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</artifactId> <version>2.1.1</vers...
SparkStreaming与Kafka整合遇到的问题及解决方案
weixin_33728268的博客
08-03 1142
最近工作中是做日志分析的平台，采用了sparkstreaming+kafka，采用kafka主要是看中了它对大数据量处理的高性能，处理日志类应用再好不过了，采用了sparkstreaming的流处理框架 主要是考虑到它本身是基于spark核心的，以后的批处理可以一站式服务，并且可以提供准实时服务到elasticsearch中，可以实现准实时定位系统日志。...
spark streaming 读取kafka 配置
qq_14950717的博客
09-01 1380
使用SparkStreaming集成kafka时有几个比较重要的参数： （1）spark.streaming.stopGracefullyOnShutdown （true / false）默认fasle 确保在kill任务时，能够处理完最后一批数据，再关闭程序，不会发生强制kill导致数据处理中断，没处理完的数据丢失 （2）spark.streaming.backpressure.enable
SparkStreaming之读取Kafka数据
阿正的博客
07-31 1584
本文主要记录使用SparkStreaming从Kafka里读取数据，并计算WordCount 主要内容： 1.本地模式运行SparkStreaming 2.yarn-client模式运行 相关文章：1.Spark之PI本地2.Spark之WordCount集群3.SparkStreaming之读取Kafka数据4.SparkStreaming之使用redis保存Kafka的Offset5.S...
SparkStreaming读取Kafka数据
知否技术的博客
11-29 923
package kafka import org.apache.spark.SparkConf import org.apache.spark.streaming.kafka010.KafkaUtils import org.apache.spark.streaming.{Duration, StreamingContext} import org.apache.spark.streaming.
spark streaming读取kafka数据，记录offset
空谷幽兰草堂
06-15 6240
如下是pom.xml文件 <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs
Spark Streaming读取Kafka数据的两种方式
theminer的博客
01-10 2272
Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择:spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点: spark-streaming-kafka-0-8兼容Kafka 0.8.2.1及以后的版本, 从Spark 2.3.0开始，对Kafka 0.8支持已被标记为过时。 spark-streaming-kafka-0-10兼容Kaf.
Spark Streaming读取kafka中数据详解
zp17834994071的博客
09-07 926
话不多说今天就给大家说下Spark Streaming如何读取Kafka中数据 先导依赖包到pom.xml <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka-0-10_2.11</artifactId> <version>2.3.4</version> </dependency> &l
sparkStreaming读取kafka写入hive分区表
W_Little_lion的博客
09-20 1576
sparkStreaming读取kafka写入hive分区表 使用版本： hadoop-3.1.3，hive-3.1.2。 开始这个spark不是很熟悉，但是项目要用到，这就要临阵磨枪了。开始写入hive的时候一直在报一个错误，的不是很懂，就是说我没有 .enableHiveSupport() 我就很蒙我明明有用到，但是他就是说我没用到。 不多说了上代码。 def test:Unit={ //设置用户名 System.setProperty("HADOOP_USER_NAME", "root") 写配置信息
SparkStreaming读取Kafka数据源并写入Mysql数据库
qq_45862976的博客
11-24 5589
SparkStreaming读取Kafka数据源并写入Mysql数据库 一、实验环境 本实验所用到的工具有 kafka_2.11-0.11.0.2； zookeeper-3.4.5； spark-2.4.8； Idea； MySQL5.7 什么是zookeeper？ zookeeper 主要是服务于分布式服务，可以用zookeeper来做：统一配置管理，统一命名服务，分布式锁，集群管理。使用分布式系统就无法避免对节点管理的问题（需要是实时感知节点的状态，对接点进行统一管理等等），而由于这些问题处理起来
Spark Streaming的流数据处理和分析 Spark读写Kafka
weixin_42487460的博客
08-17 765
Spark Streaming的流数据处理和分析 Spark读写Kafka一、流是什么二、Spark Streaming1、简介2、流数据处理框架3、内部工作流程三、StreamingContext Spark Streaming读kafa数据1、创建2、入门 Spark Streaming读kafa数据示例无状态流处理有状态流处理四、Spark Streaming 写数据到kafka对KafkaProducer包装，再广播到每个Executor中，避免产生大量对象 一、流是什么 数据流 数据的流入
SparkStreaming消费Kafka的两种方式
别人笑我太疯癫，我笑他人看不穿。
03-05 3223
一，receiver方式读取 这种方式使用Receiver来获取数据。Receiver是使用Kafka的高层次Consumer API来实现数据的消费。 receiver方式从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处理那些数据。 但是在默认的配置下，这种方式可能会因为底层的失败而丢失数据，因为消费时kafka的高级API是不会去维护偏移量的 要启用高可靠机制，让数据零丢失，启用Spark Streaming的预写日志机制（W
线上异常问题
fengfengchen95的博客
05-13 486
1.kafka连接异常，报错信息如下： 19/05/12 22:44:08 INFO SimpleConsumer: Reconnect due to socket error: java.nio.channels.ClosedChannelException 19/05/12 22:44:08 INFO RecurringTimer: Stopped timer for JobGenerato...
kafka发送消息出现的问题KafKa error java.nio.channels.UnresolvedAddressException
热门推荐
zhongbaolin的专栏
01-22 1万+
出现以下的错 124  [main] INFO  kafka.utils.VerifiableProperties - Verifying properties 157  [main] INFO  kafka.utils.VerifiableProperties - Property compression.codec is overridden to 1 157  [main] I
SparkStreaming读取kafka数据的两种方式
贾宝的博客
11-18 8643
Receive Receive是使用的高级API，需要消费者连接Zookeeper来读取数据。是由Zookeeper来维护偏移量，不用我们来手动维护，这样的话就比较简单一些，减少了代码量。但是天下没有免费的午餐，它也有很多缺点： 1.导致丢失数据。它是由Executor内的Receive来拉取数据并存放在内存中，再由Driver端提交的job来处理数据。这样的话，如果底层节点出现错误，就会发生数...
Kafka+Spark streaming读取数据存hdfs
chak的博客
07-05 1万+
待更新
【源码追踪】SparkStreaming 中用 Direct 方式每次从 Kafka 拉取多少条数据（offset取值范围）
瓜牛呱呱的博客
04-19 3445
我们知道 SparkStreaming 用 Direct 的方式拉取 Kafka 数据时，是根据 kafka 中的 fromOffsets 和 untilOffsets 来进行获取数据的，而 fromOffsets 一般都是需要我们自己管理的，而每批次的 untilOffsets 是由 Driver 程序自动帮我们算出来的。 于是产生了一个疑问：untilOffsets 是怎么算出来的？ 接下...
sparkstreaming读取kafka
最新发布
04-26
好的，你想了解关于使用Spark Streaming读取Kafka的问题，下面是一些基本步骤： 1. 首先，你需要通过Maven或SBT等构建工具将Spark和Kafka相关的依赖项添加到你的项目中。 2. 在Spark应用程序中，创建一个用于接收...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值