【Mac】Mac 下 kafka 生产者 控制台 发送长消息被截断

已于 2023-10-16 09:45:56 修改
阅读量907 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： mac kafka 长消息 截断
于 2021-02-07 10:39:20 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113559254
版权
大数据-kafka 专栏收录该内容
403 篇文章 641 订阅 ¥99.90 ¥299.90
订阅专栏
在Mac环境下使用控制台发送Kafka消息时遇到长消息被截断的问题，本文探讨了该现象的背景及解决办法，指出通过代码发送可以避免此问题。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.背景

本地给Kafka发送消息的时候，突然消息太长被截断了。原因还没找到

在这里插入图片描述

最后发现是控制台的原因，代码发送就可以了

九师兄
关注
专栏目录
订阅专栏
【kafka】Kafka consumer处理大消息数据过大导致消费停止问题
九师兄
07-18 3545
1.概述 转载：https://www.cnblogs.com/wynjauu/articles/9409686.html 昨天线上发现一个现象：kafka一个topic有数据生产，但是没有消费了，各种排查es集群、内存使用情况等都正常，但是就是消费线程死了一样，重启jboss也没有用，最后发现是因为消费该topic的kafka八的partition因为遇到了大数据超过1M而都被堵塞（我们是四台机器每个机器两个partation消费）。 下面是网上看到到一个解释博客： 2.案例分析 处理kafka con.
【kafka】控制台默认不能发送大数据 4096 4095 4129
九师兄
10-24 423
1.概述 因为某些原因，需要做一个测试，然后我想往topic中，发送一条消息，然后再消费它。但是消息有点大，一条消息是36K. 消费者 [root@1 kafka]# bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic xxx.devicealarm | grep 网络攻击 生产者,生产者发送了一个消息消息是一个json，json中有这个数据特征 网络攻击 [root@1 kafka]# bin/kafka-console-p
Kafka发送消息过长详解
如果对你有帮助点个赞, 非常感谢.
05-19 7518
Kafka发送消息大小问题 ⚠️ 本文实验的Kafka版本为2.11版本. 消息概述 kafka中的消息指的就是一条ProducerRecord,里面除了携带发送的数据之外,还包含: topic 发往的Topic partition 发往的分区 headers 头信息 key 数据 value 数据 timestamp-long 时间戳 Producer生产消息过长 在生产者发送消息的时候,并...
kafka-console-producer.sh 发送数据到kafka发生截断(不完整)
热门推荐
dymkkj的专栏
08-07 1万+
问题描述 手动往kafka命令中发送数据，发生截断，导致kafka的数据不完整，flume的采集的数据不完整（以为是flume 采集数据发生truncate): /usr/kafka_2.10-0.9.0.1/bin/kafka-console-producer.sh --topic dp_monitor_rh_out-20190717 --broker-list broker-...
Mac safari console输出长log时会将日志截断(省略)后面有一串省略号
lovepeacee的博客
07-22 1436
为解决该问题,在Google中搜索并未找到解决答案,但是可以将长日志放在第一个参数中,这样就不会将日志截断 console.log(“第一个参数”,“第二个参数”,…) 例: console.log("result---",JSON.stringify(result)) console.log(JSON.stringify(result),"result---") 输出结果 可见放在第一个参数中是没问题的 参考链接: 参考一 参考二 ...
Mac下Kafka的简单使用
qq_44587279的博客
12-29 1209
环境：Kafka3.0.0 首先进入到本机安装Kafka的bin目录下 cd /usr/local/Cellar/kafka/3.0.0/bin 1.启动ZooKeeper ./zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties & 2.启动Kafka ./kafka-server-start /usr/local/etc/kafka/server.properties & 3.创建一个topic，名称为tes
使用flume将csv文件导入到kafka主题（超简单）
weixin_48482704的博客
03-30 2327
1.首先启动zookeeper和kafka服务 [root@dw data]# zkServer.sh start [root@dw data]# kafka-server-start.sh /opt/software/kafka211/config/server.properties 2.查看csv文件的信息 (1)文件是否有表头 [root@dw data]# cat event_attendees.csv|head -1 event,yes,maybe,invited,no 可以看出，文件是有
大数据最佳实践-kafka
program哲学
04-16 6169
kafka各个重难点大全，超详细
入门kafka，讲真的，你看这一篇准没错
最新发布
2303_77877769的博客
04-05 953
我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习已经将知识体系整理好（源码，笔记，PPT，学习视频）《一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码》点击传送门即可获取！架构师学习资料包以及BAT面试资料，供大家参考及学习已经将知识体系整理好（源码，笔记，PPT，学习视频）[外链图片转存中…(img-JoKdhbJw-1712322857425)][外链图片转存中…(img-ZzIMzwoR-1712322857425)]
gbase consumer 消费 kafka 数据时超长字段无法正常消费
ls_hong的博客
02-28 1166
问题现象 在 GBase8a consumer 组件消费 kafka 消息时，由于不明原因出现消息数据源出现 乱码，其长度超出 8a 定义的字段长度（数据类型为 varchar 类型字段），导致该 数据在消费过程中由于字段长度超长无法被 8a 正常消费入库，会停止消费并报相 应的错误信息 解决方法： 设置_t_kafka_varchar_auto_truncate=1 ...
kafka操作命令
zorsea的博客
03-01 1240
查看主题消费情况命令： ./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper 192.168.225.228:2181,192.168.225.229:2181,92.168.225.230:2181/kafka --group alarm-consumer-group --topic alarmCardStateP...
消息中间件KAFKA
weixin_37536020的博客
02-12 659
topic：_consumer_offsets，存储的是消费者id 和 Partition 的 Offset 关系，消费者不断地消费消息 commit 的时候,不断顺序写入新的 Offset。
探究Kafka原理-6.CAP理论实践
爱吃知识的土豆倪的博客
11-27 1353
Step 4：follower 发送第二轮 fetch 请求，携带当前最新的 offset = 1，leader 处理 fetch 请求时，更新 remote LEO = 1，对比 LEO 值最小为 1，所以 HW = 1，此时 leader 没有新的消息数据，所以直接返回 leader HW = 1 给 follower，follower 对比当前最新的 LEO 值 与 leader HW 值，取最小的作为新的 HW 值，此时 follower HW = 1。
JAVA技术体系之分布式篇（五）——Kafka消息中间件
qsmiley10的博客
04-19 6777
1
kafka学习（第三部分）
tianqiuhao的博客
03-10 1575
这部分是学习消费者侧相关的内容，主要是消费位移，以及kafka储存相关内容。
swiftUI之macOS 打印功能解决文本被截断的问题
忆，学海之路
08-09 513
swiftUI之macOS 打印功能解决文本被截断的问题概述解决方案 概述 在之前的文章中介绍了macOS中如何调用打印功能，用那种方式如果只打印一页的内容，则无妨，如果是多页，则会出现文本前后被截断的问题如下图的效果： 出现这样的问题，最大的原因就是打印view的时候没有处理分页，而是让系统自动分页，导致一个view绘制下来边界会被截断，所以，解决的这个问题的关键在于，如何在每一页只绘制一页所能展示的内容，数据上要做切割，然后还有一点是如何将切割好的数据，转移到对应的页面上去，关于这个问题我研究了好几天
kafka的副本管理
jwcjlu的专栏
07-24 822
kafka实现高可靠性的基础是使用副本机制，具体实现方式是，同一个分区下的多个副本分散在不同的broker机器上，它们保存相同的消息数据以实现高可靠性。下面将谈谈kafka的副本管理。
kafka 启动_在 Mac 跑起 Kafka
weixin_39705435的博客
11-20 118
参考资料Kafka 中文文档Kafka的安装和简单实例测试kafka-python1 安装Kafka 中文文档中主要介绍了 Linux/Windows 系统下的 Kafka 配置，为了在本地 Mac 系统下跑起一个 demo，本文简单介绍如何在 Mac 中跑起 Kafka。执行 brew install kafka，由于 Kafka 需要依赖 ZooKeeper，所有在 brew 过程中，会把 ...
kafka：发现kafka丢消息后的排查
不花的花和尚的博客
10-05 3654
背景：       最近在用kafka做消息中间件，producer从hive中读取消息发送到kafka，后端storm对消息分类发送到elasticsearch建立索引。 问题：       hive表中总共350万数据，当时整个全量索引结束后发现，最后索引条数总共310万左右。storm日志没有任何错误日志。 排查：       首先排查storm consumer的问题，由于发现s...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值