记一次模拟生成数据发到kafka的bug

最新推荐文章于 2023-03-29 07:57:39 发布
最新推荐文章于 2023-03-29 07:57:39 发布
阅读量1.1k 收藏
点赞数
文章标签： java kafka spring boot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yunweijie_cn/article/details/121394099
版权

在服务器运行jar包模拟生成数据，然后在本地IDEA中判断数据类型发送到kafka中，运行出错，提示：unknown node1 unknown node2 unknown node3
解决办法：
在C:\WINDOWS\system32\drivers\etc\hosts文件中添加如下信息：
192.168.1.31 node1
192.168.1.32 node1
192.168.1.33 node1
附：查看错误方法（在application.paoperties中添加logging.level.root=debug）

自学大数据的菜鸡
关注
Kafka 设计之生产者与消费者
流华追梦的专栏
03-07 1098
接上一篇。本文将介绍 Kafka 设计中的生产者与消费者，通过对官方文档的阅读，来加深对 Kafka 生产者和消费者设计的理解。
Flink大数据量调优思路总结（一）
击水三千里的专栏
09-15 397
flink 性能优化，大家可以先实践后,发现瓶颈后再来阅读此文。根据实际情况调优，没有万能的法则
KafkaTestDataProducer:产生随机消息并发送到 kafka
06-19
KafkaTestDataProducer 产生随机消息并发送到 kafka。 用法：java -jar <jarname> <topic> <brokerIds> <hasMultiplePartitions> <# of Messages> <Start> 示例：java -jar KafkaProducer-0.0.1-SNAPSHOT-jar-with-dependencies.jar test localhost:9092 true 200000 1
向kafka送数据windows生产者demo
qq_36764646的博客
10-31 343
#include &lt;stdio.h&gt; #include &lt;signal.h&gt; #include &lt;string.h&gt; #include &lt;inttypes.h&gt; #include "rdkafka/rdkafka.h"  static int run = 1;  static void stop(int sig) {            run =...
轻松通关Flink第31讲：Kafka 模拟数据生成和发送
最新发布
sucaiwa的博客
03-29 775
这一课时我们学习了使用 Flink 进行数据清洗 ETL 的过程，在实际业务中数据的清洗是必不可少的部分，你可以根据业务需要采用不同的清洗策略，将数据存储到新的数据库中。
使用Windows命令行简单的演示Kafka的消息创建与发送
qq_39720263的博客
11-08 3764
基本过程为： 创建一个topic 创建一个消息消费者 创建一个消息生产者，并发送消息   创建一个Topic cmd切换至kafka目录下，输入一下语句。 .\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions ...
Kafka 是如何建模数据的？
Miracle
07-12 290
Kafka 是一个高度可扩展的消息系统，具有优秀的水平可扩展性和高吞吐率的特点，因而被许多公司所青睐并得到广泛的使用。本文首先介绍 Kafka 诞生的时代背景以及诞生之初的设计目标，随后回答 Kafka 作为一个消息系统是如何建模数据的，最后讲解 Kafka 作为一个软件系统的架构，为有志于深入了解的 Kafka 的同学做一个简单的框架梳理。
Kafka 的消息异常情况~追日
weixin_44012853的博客
03-07 2934
Nice done :D
Apache Griffin+Flink+Kafka实现流式数据质量监控实战
weixin_43160819的博客
07-01 1311
项目总览一. 组件及版本二. kafka数据生成脚本三. Flink流式处理四. Apache Griffin配置与启动五. 全局代码 一. 组件及版本 本文用的组件包括以下几个，是参考了官方案例,版本可以参考github以及里面的pom文件。本文假定以下环境均已安装好。 JDK (1.8) MySQL(version 5.6) Hadoop (2.7.2) Hive (version 2.4) Spark (version 2.4.1) Kafka (version 0.11) Griffin (ver
kafka使用
qq_38294614的博客
06-14 1257
Kafka简介 什么是 Kafka Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 Kafka 的基本术语 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。 批次：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。 主题：消息的种类称为 主题（Topic）,可以说一个主题代表了一类消息。相当于是对
第三十一篇：Kafka 日志数据清洗和发送
微信搜：import_bigdata，大数据领域硬核原创作者
07-24 851
你好，欢迎来到第 31 课时，本课时我们主要讲解“Kafka 日志数据清洗和发送”。 第 29 课时讲过，在计算 PV 和 UV 的过程中关键的一个步骤就是进行日志数据的清洗。实际上在其他业务，比如订单数据的统计中，我们也需要过滤掉一些“脏数据”。 所谓“脏数据”是指与我们定义的标准数据结构不一致，或者不需要的数据。因为在数据清洗 ETL 的过程中经常需要进行数据的反序列化解析和 Java 类的映射，在这个映射过程中“脏数据”会导致反序列化失败，从而使得任务失败进行重启。在一些大作业中，重启会导致任务不稳定
Kafka | 模拟生产者写入消息
俗人
09-24 544
模拟生产者写入消息到Kafka import java.util.Properties import java.util.concurrent.{Executors} import com.sf.gis.commons import com.sf.gis.commons.utils.{DateTimeUtil, RandomUtil} import org.apache.kafka.clients.producer.{KafkaProducer, ProducerRecord} import o.
使用java编写kafka生产者打成jar包，将windows下的文件写到kafka的主题中。
alisa_Ge的博客
04-05 615
1.新建maven工程——mykafka 2.配置pom.xml文件。 <properties> <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding> <maven.compiler.source>1.8</maven.compiler.source> <maven.compiler.target>1.8</maven.
Kafka模拟实现（用于自我测试环境）
qq_43688472的博客
01-14 2190
1.模拟实验 [root@yws85 ~]# cd /opt/software/kafka/ [root@yws85 kafka]# bin/kafka-topics.sh \ &gt; --create \ &gt; --zookeeper 192.168.0.85:2181,192.168.0.86:2181,192.168.0.87:2181/kafka \ &gt; --replicati...
第二十三篇：Mock Kafka 消息并发送
微信搜：import_bigdata，大数据领域硬核原创作者
07-24 1277
你好，欢迎来到第 23 课时，本课时主要讲解 Kafka 的一些核心概念，以及模拟消息并发送。 大数据消息中间件的王者——Kafka 在上一课时中提过在实时计算的场景下，我们绝大多数的数据源都是消息系统。所以，一个强大的消息中间件来支撑高达几十万的 QPS，以及海量数据存储就显得极其重要。 Kafka 从众多的消息中间件中脱颖而出，主要是因为高吞吐、低延迟的特点；另外基于 Kafka 的生态越来越完善，各个实时处理框架包括 Flink 在消息处理上都会优先进行支持。在第 14 课时“Flink Exactl
Kafka（第四节）使用Kafka模拟实时数据看板项目
hwq317622817的博客
01-19 1179
实时数据看板项目 实时数据看板 简单说来，实时数据看板就是要将实时产生的业务数据，收集起来进行一定分析将分析结果以或文字或图表的形式展示出来 需求分析 本文模拟一个用于订单数据分析的实时数据看板 1、需要一个部署在linux服务器上的jar程序来模拟产生实时的订单数据； 2、需要一个工具来采集这些实时的订单数据，本文将通过jar程序将数据写入到一个log文件中，使用flume来采集log文件中的数据，既然是要做实时分析，那么flume的sink就不能是hdfs或hive的，因为hdfs需要依托hive才能做
模拟业务场景往kafka推送消息的方法
重剑无锋，大巧不工
08-11 2339
项目最近需要接入一个推送功能，之前都是用云端内部接口模拟推送诊修消息的，但是实际触发场景是：诊修服务会将消息下发到kafka充当生产者，然后kafka推送给下游云端进行消费，所以，要模拟生产者往kafka推送消息，并且还要模拟批量推送的场景，以便掌握批量推送诊修消息的性能是否满足正常要求（每秒20~50条左右的强度）.........
EMQ X Enterprise (MQTT Broker) + Apache Kafka 构建高性能物联网消息处理后台
u010074988的博客
05-25 1565
背景 在各类物联网项目中，设备产生的消息不仅仅作用于设备之间，还需要供业务系统使用以实现如安全审计、流量计费、数据统计、通知触发等功能，类似很容易通过以下原型系统完成： 该原型中需要在 EMQ X 上维护多个数据通道，以供每个业务环节按照各自需求从 EMQ X 中获取消息数据。这种解决方案的问题在于： 每个业务需要与 EMQ X 建立数据通道，数据通道的建立与保持需要额外的资源开销，数据同步速度严重影响 EMQ X 高速消息交换； 随着业务增长，每次新增业务环节都需要牵动整个系统变更； 由于每
复习笔记5-nginx、rabbitmq、redis、jenkins、Docker、ELK、日志、Hadoop
lc95270的博客
08-07 1769
RabbitMq 几种工作模式 http://127.0.0.1:15672 guest/guest 消费模式 1、自动模式-消费者从消息队列获取消息后，服务端就认为该消息已经成功消费。 2、手动模式-消费者从消息队列获取消息后，服务端并没有标记为成功消费，消费者成功消费后需要将状态返回到服务端 1.简单模式：一个生产者，一个消费者（声明队列，往里面塞值取值即可） 2. work模式：一个生产者，多个消费者，每个消费者获取到的消息唯一。（声明队列，往里面塞值取值即可）且1.2都是一个消息只能被消费一
Flume采集数据到Kafka，然后从Kafka存储到HDFS的实践指南
"Flume采集数据到Kafka，然后从kafka取数据存储到HDFS的...使用Flume采集数据到Kafka，然后从Kafka取数据存储到HDFS是一个常用的大数据处理流程。通过这个流程，可以实现数据的实时采集和存储，满足大数据处理的需求。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值