本地开发spark streaming无法消费云主机kafka消息

最新推荐文章于 2022-02-19 16:15:40 发布
最新推荐文章于 2022-02-19 16:15:40 发布
阅读量583 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39182877/article/details/80138268
版权
本地Spark Streaming应用在开发时遇到无法消费云主机上的Kafka消息的问题，由于Kafka集群和生产者不在同一网段导致消息发送超时。解决办法是在Kafka配置中设置`advertised.host.name`为当前机器的外网IP，重启服务后可正常消费。
摘要由CSDN通过智能技术生成

1、Kafka集群在一个192.168.0.x网段的，而我们的生产者在集群外，无法将消息发送过去

错误：11:21:13,936 ERROR KafkaProducer - Batch containing 11 record(s) expired due to timeout while requesting metadata from brokers for onlinelogs-1


2、spark streaming作为消费者在集群之外，无法消费kafka里面的消息

例如：IDEA在本地做开发，但kafka部署在云主机上


解决方案：

最低0.47元/天 解锁文章
weixin_39182877
关注
21:Spark+Kafka
someInNeed的博客
01-28 1772
结合实例，说一说 Spark 与 Kafka 这对“万金油”组合如何使用。随着业务飞速发展，各家公司的集群规模都是有增无减。在集群规模暴涨的情况下，资源利用率逐渐成为大家越来越关注的焦点。毕竟，不管是自建的 Data center，还是公有云，每台机器都是真金白银的投入。 实例：资源利用率实时计算 咱们今天的实例，就和资源利用率的实时计算有关。具体来说，我们首先需要搜集集群中每台机器的资源（CPU、内存）利用率，并将其写入 Kafka。然后，我们使用 Spark 的 Structured Streami
如何在阿里云服务器上配置部署kafka
DreamsArchitects的博客
08-31 4950
在云服务器上配置部署kafka和zookeeper一、介绍二、打开防护墙端口2181、9092三、打开云服务器的端口四、修改Kafka的配置文件 一、介绍 同样将压缩包通过ssh工具上传到我们的云服务器上，解压即可。 zookeeper的配置是和本地服务器配置是一样的，具体请参考这篇文章CentOS7安装部署kafka和zookeeper，但是不同的是kafka的配置文件的修改。 二、打开防护墙端口2181、9092 firewall-cmd --zone=public --add-port=2181/tc
Spark-Streaming连接kafka0.8 能连接却不能消费问题
狱蝶阿一的博客
11-22 1824
 话不多说,直接上代码 package cn.sparkstreaming.kafka import kafka.serializer.{StringDecoder, Decoder} import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, Streaming...
SparkStreaming消费不到Kafka的数据
Why Do You Run
12-26 1462
我这边遇到的问题是由于手动维护了offset，指定了分组 我新增了一个Topic，新创建了一个Consumer。但是保存Redis里面的分组还是原来的test 所以消费不到啊！！！！！ ...
kafka broker Leader -1引起spark Streaming不能消费的故障解决方法
微信公众号：大数据从业者
09-30 438
一、问题描述：Kafka生产集群中有一台机器cdh-003由于物理故障原因挂掉了，并且系统起不来了，使得线上的spark Streaming实时任务不能正常消费，重启实时任务都不行。查看kafka topic状态，发现broker Leader出现-1的情况，如下图 二、问题分析Kafka Broker Leader 为-1，表示有partition在选举Leader的时候失败了，因此引起了消费...
虚拟机启动kafka后主机无法消费的问题
Jasonhada的博客
02-19 1642
Python消费虚拟机上的kafka消息
本机spark 消费kafka失败（无法连接）
weixin_30655219的博客
11-12 351
本机spark 消费kafka失败（无法连接） 终端也不报错 就特么不消费： 但是用console的consumer 却可以 经过各种改版本 ，测试配置，最后发现 只要注释掉 kafka 配置server.properties 中的host.name=kevinhost1(我自己的主机名) 就行了 转载于:https://www.cnblogs.com/spicy/p/9948085.ht...
JAVA 实现 Flume+Kafka+SparkStreaming 最简单的统计用户行为日志案例
qq_38423171的博客
12-01 1075
1、准备工作 阿里云服务器或者Linux 虚拟机 （至少8G内存，作者使用的是 阿里云CentOS 8.2 64位2 核 8 GiB） Windows 环境下 装了IDEA的电脑 Linux 安装了 java8 环境 阿里云开放了可能用到的端口安全组策略 2、配置服务 2.1 logback 整合 Flume 创建 Springboot WEB 项目 引入下列依赖, Springboot start Web 省略 <dependencies> ...
sparkstreaming
qq_39132578的博客
03-19 377
SparkStreaming教程本文章主要讲述SparkStreaming概念原理、基本概念、以及调优等一些知识点。1      概述1.1  SparkStreaming是什么Spark Streaming 是个批处理的流式（实时）计算框架。其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。　  支持从多种数据源获取数据，包括Kafk、Flume...
Batch containing 11 record(s) expired due to timeout while requesting metadata
crazy_stone0002的博客
04-08 800
背景： Kafka集群在一个192.168.0.x网段的，而我们的生产者在192.168.17.x网段的一台机器上，故当生产者发送消息给Kafka时， 无法将消息发送过去。 错误： 11:21:13,936 ERRO...
Spark Stream 消费 Kafka 踩坑
farcicalbird的博客
12-19 1635
在有网络并发基础和大数据框架算法基础情况下，算法和理解源码并不是最耗时的（大概），因为如果首次自己搭建火花在卡夫卡消费应用框架，并且缺乏可执行演示情况下，总会莫名其妙出现一些奇怪问题。 很容易可以写出一个SparkStreaming消费卡夫卡的简单的java的的样例，但奇怪的是本地调试集群总是通不过， 检查发现程序莫名被停止，但控制台在决定停止之前并没有抛出异常 查看Spark Web ...
Kafka学习整理七(producer和consumer编程实践)
热门推荐
LOUISLIAOXH的专栏
06-03 3万+
Kafka学习整理七(producer和consumer编程实践)
本地IDEA运行sparkStreaming消费kafka出错 Connection with localhost/127.0.0.1 disconnected
前方的路在刚开始
07-01 1742
可以看到报错第一句显示：Connection with localhost/127.0.0.1 disconnected 但是我明明在application.yml中配置了我的Kafka Server的地址是：192.168.52.131:9092，而在实际连接kafka服务器时却使用的localhost/127.0.0.1这个地址，所以导致无法连接kafka Server。 经过百度，得知，在设置Kafka的时候，需要设置advertised.listeners这个属性。 该属性在con..
服务器重启后 Spark Streaming 任务启动失败的原因及排查过程记录
探索大数据世界 - 深入解析数据存储、分布式计算与人工智能
02-25 8754
因特殊原因公司服务器从晚上6点开始CPU资源使用率飙升至100% 然后运维重启服务器，重新构建此服务器上所有作业 然而第二天早上查看日志发现，有一个job作业启动失败，经过一系列排查最终解决，特此记录一下 此作业是sparkStreaming 读取kafka topic并存储至hbase ，offset保存在zookeeper; 此问题并非是常见的offset过期或offset不一致问题; 请往...
SparkStreaming处理Kafka数据实战与优化
在与Kafka集成时，SparkStreaming能够从Kafka主题中消费数据，进行处理后再将结果输出。在WeTest舆情项目中，通过SparkStreaming进行千万级游戏评论的词频统计，这需要高效且稳定的数据处理能力。 1. 基于Receiver...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值