Kafka
潘广宇
主攻Golang|Python|PHP|数据库|高并发架构|人工智能,Base广州,博客主要写一些工作上遇到的问题和处理经验
展开
-
KafkaQ - 好用的 Kafka Linux 命令行可视化工具
鉴于并没有在网上找到比较好的linux平台的kafka可视化工具,今天为大家介绍一下自己开发的在 Linux 平台上使用的可视化工具KafkaQ。* 搜索版本支持上述3种查询之外,增加关键词搜索,即在分片中搜索指定关键词的message。* 普通版本支持上述3种查询。原创 2024-06-13 11:26:53 · 871 阅读 · 1 评论 -
基于 PHP 的 Kafka 底层公共类的封装和调用
以TP5.0框架为例,在extend/创建RdKafkaClient.php。如何在 Thinkphp 5.0 下使用 kafka,5分钟上手!注:本文用到的是rdkafka公共类库,原创 2023-05-06 20:09:32 · 617 阅读 · 0 评论 -
Kafka 常用命令汇总
【代码】Kafka 常用命令汇总。原创 2023-05-06 19:44:30 · 602 阅读 · 0 评论 -
Kafka 消息删除策略
推荐一篇文章:Kafka日志的清除策略_hyj-CSDN博客_kafka消息删除策略原创 2022-01-22 16:22:21 · 1963 阅读 · 0 评论 -
Kafka 基本术语及介绍
Topic 话题Kafka将消息分门别类,每一类的消息称之为一个主题(Topic)某个topic的消息,会通过一个或多个分区存放,每个分区存在于一个或多个brokers中,每次新的消息都是顺序写入到每个分区log,log是通过文件方式进行存储,位置在 Config/server.properties 的 log.dirs 中定义Kafka集群会一直保存所有的消息,除非它们过期被删除Partition 分区在建立某个topic时,会指定一个或多个分区,用来存放整个topic的消息,消息原创 2022-01-22 16:02:43 · 1576 阅读 · 0 评论 -
Kafka 性能优越的原理
推荐一篇好文章:为什么Kafka速度那么快 - 邴越 - 博客园 (cnblogs.com)转载 2022-01-22 15:07:51 · 125 阅读 · 0 评论 -
Kafka 查找某个消息内容在分片中的 offset
在使用kafka遇到需要回滚重新消费消息的时候,我们需要定位某个消息在某个分片中的offset,然后从那个offset重新消费消息。首先,需要找出需要回滚到的消息的位置offset第一步,把分片中的消息先导入到文本文件里:比如:我把mytopic分片1的所有消息,先导入到文本文件里,注意这里需要加 --from-beginning/usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server 192.168.2.201:9原创 2022-01-22 10:27:21 · 2090 阅读 · 0 评论 -
多守护进程使用 kafka 注意事项(更新中)
问题1:消息处理问题存在两个守护进程,如果需要A、B两个守护进程每次获取的消息是一样的,则只需要使用同一个group_id读取同一个分区即可。如果只读取一个分区,则两个守护进程会同时获取相同的信息,比如生产者在一个topic生产了信息1,2,3,4,5,6,则两个守护进程都会同时获取到1,2,3,4,5,6如果希望两个守护进程是同时消费,也就是不会重复消费,这时候需要修改topic的分区,改成多个分区,比如2/usr/local/kafka/bin/kafka-topics.sh --al原创 2022-01-21 17:46:04 · 1199 阅读 · 0 评论 -
Thinkphp RdKafka 公共类封装
在 extend/RdKafkaClient.php 封装 RdKafkaClient:<?php/********************************************************************************* * @desc:Rd-kafka客户端进一步封装 * @Author:panguangyu * @Dtime:2021-01-20 **********************************************原创 2022-01-21 11:34:25 · 1568 阅读 · 5 评论 -
PHP rdKafka 安装和基本使用
安装,通过安装扩展即可,不需要额外新增源码Installation (le-blanc.net)生产者demo:<?php$conf = new RdKafka\Conf();$conf->set('metadata.broker.list', 'localhost:9092');$producer = new RdKafka\Producer($conf);$topic = $producer->newTopic("test");for ($i = 0;原创 2022-01-21 11:27:05 · 1589 阅读 · 0 评论 -
在 php 中简单调用 kafka
一、确保 kafka 已被安装在 Linux 服务器中若未安装,查看此博客快速安装:https://blog.csdn.net/panguangyuu/article/details/88408320二、启动 kakfa 服务# 启动zookeeperbin/zookeeper-server-start.sh config/zookeeper.properties &...原创 2019-03-12 16:05:54 · 3978 阅读 · 0 评论 -
Kafka 消费者消费消息的顺序性问题
一、确保消费者消费的消息是顺序的,需要把消息存放在同一个topic的同一个分区下:如:生产者需要按顺序写入数据 1 2 3 4 5 6 ,消费者需要消费顺序也必须为 1 2 3 4 5 6创建话题:bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 ...原创 2019-03-11 22:23:38 · 10462 阅读 · 5 评论 -
最快安装 kafka
一、安装 java 环境最快步骤:https://blog.csdn.net/panguangyuu/article/details/88407490检查是否已安装 java 环境,推荐安装 jdk1.8java -version二、下载 kafkahttp://kafka.apache.org/downloads下载 scala 二进制版 如:kafka_2.11-2....原创 2019-03-11 20:31:48 · 1631 阅读 · 0 评论