![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 88
躺平的赶海人
稳重踏实,待人真诚,学习钻研,勇于担当!
展开
-
kafka知识小结
如果需要保留则又需要考虑如何保留,直接存储到现有分区的尾部,消息的时间戳就不会递增,如此对于Spark、Flink这类需要消息时间戳(事件时间)的组件将会受到影响;由此可知这个功能的收益点是很低的,如果真的需要实现此类的功能,完全可以重新创建一个分区数较小的主题,然后将现有主题中的消息按照既定的逻辑复制过去即可。如果分散插入到现有的分区中,那么在消息量很大的时候,内部的数据复制会占用很大的资源,而且在复制期间,此主题的可用性又如何得到保障?原创 2023-09-05 17:16:52 · 474 阅读 · 0 评论 -
kafka概念
一 Kafka入门Kafka所使用的基本术语TopicKafka将消息种子(Feed)分门别类,每一类的消息称之为一个主题(Topic).Producer发布消息的对象称之为主题生产者(Kafka topic producer)Consumer订阅消息并处理发布的消息的种子的对象称之为主题消费者(consumers)Broker已发布的消息保存在一组服务器中,称之为...原创 2020-01-17 14:20:26 · 258 阅读 · 0 评论 -
php安装kafka扩展
一、下载kafka扩展包 链接:https://pecl.php.net/package/rdkafka根据pnpinfo里面的上述红圈信息选择合适的kafka版本二、解压安装包复制 librdkafka.dll 、php_rdkafka.dll到对应指定的目录下即可!...原创 2020-01-17 09:55:43 · 182 阅读 · 0 评论 -
心得体会:kafka是如何保证消息不被重复消费
一、kafka自带的消费机制 kafka有个offset的概念,当每个消息被写进去后,都有一个offset,代表他的序号,然后consumer消费该数据之后,隔一段时间,会把自己消费过的消息的offset提交一下,代表我已经消费过了。下次我要是重启,就会继续从上次消费到的offset来继续消费。 但是当我们直接kill进程了,再重启。这会导致consumer有些消息处理了,但是没来得及...原创 2020-01-08 10:00:28 · 1930 阅读 · 1 评论 -
“华山论剑”之kafka监控三款工具优劣势
在之前的博客中,介绍了Kafka Web Console这 个监控工具,在生产环境中使用,运行一段时间后,发现该工具会和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞。并且这个 Bug也在其他使用者中出现过,看来使用开源工具要慎重!该Bug暂未得到修复,不得已,只能研究下其他同类的Kafka监控软件。通过研究,发现主流的三种kafka监控程序分别为:Kafka ...转载 2020-01-07 19:27:11 · 137 阅读 · 0 评论 -
Kafka AdminClient java api 创建topic及发送消息
一、创建TopicD:\kafka\kafka_2.12-2.4.0\bin\windows>kafka-topics.bat --list --zookeeper localhost:2181__consumer_offsetscaijunjiedemotesttopic-test 使用AdminClient API可以来控制对kafka服务器进行配置,我们这里使...原创 2020-01-07 15:12:08 · 3931 阅读 · 0 评论 -
kafka AdminClient配置详解
NAME DESCRIPTION TYPE DEFAULT VALID VALUES IMPORTANCE bootstrap.servers host/port,用于和kafka集群建立初始化连接。因为这些服务器地址仅用于初始化连接,并通过现有配置的来发现全部的kafka集群成员(集群随时会变化),所以此列表不需要包含完整的集群地址(但尽量多配置几个,以防...原创 2020-01-07 13:36:20 · 1734 阅读 · 0 评论 -
java与kafka的珠联璧合
一、在java程序中使用kafka在远程使用java api连接kafka时应当配置好kafka服务器的防火墙策略,或者直接关闭防火墙。跟上节中一样,我们现在在java程序中尝试使用kafka。1.1 创建Topic...原创 2020-01-06 17:42:11 · 170 阅读 · 0 评论 -
Windows Kafka创建&查看topic,生产&消费指定topic消息
启动zookeeper和Kafka之后,进入kafka目录(安装/启动kafka参考前面文章)1.创建Topic 1)运行命令:kafka-topics.bat --create --zookeeper localhost:2181 --replication-fctor 1 --partition 1 --topic caijunjie 2181 是zookeeper 端...原创 2020-01-06 16:49:43 · 3579 阅读 · 2 评论 -
Linux Kafka创建&查看topic,生产&消费指定topic消息
启动zookeeper和Kafka之后,进入kafka目录(安装/启动kafka参考前面一章:https://www.cnblogs.com/cici20166/p/9425613.html)1.创建Topic 1)运行命令:./bin/kafka-topics.sh --create --zookeepelocalhost:2181 --replication-factor 1 -...原创 2020-01-06 16:49:11 · 8627 阅读 · 3 评论 -
kafka的环境基石
1.安装jdk运行环境2. 安装ZOOKEEPERKafka的运行依赖于Zookeeper,所以在运行Kafka之前我们需要安装并运行Zookeeper2.1添加如下系统变量:ZOOKEEPER_HOME: D:\zookeeper\zookeeper-3.5.6 (zookeeper目录) Path: 在现有的值后面添加 ";%ZOOKEEPER_HOME%\bin;"...原创 2020-01-06 16:38:11 · 155 阅读 · 0 评论 -
kafka报错解决:kafka.zookeeper.ZooKeeperClientTimeoutException: Timed out waiting for connection
出现上述问题,在其他错误都没有的情况下,zookeeper的版本和kafka的libs目录下的zookeeper版本不一致导致的,如图版本是3.5.6启动成功如下所示:D:\kafka\kafka_2.12-2.4.0>.\bin\windows\kafka-server-start.bat .\config\server.properties[2020-01-...原创 2020-01-06 16:17:25 · 22892 阅读 · 4 评论 -
浅谈kafka安装及使用
使用具体参见http://kafka.apache.org/quickstart#quickstart_multibroker文档使用说明,如有问题欢迎交流。kafka依赖于zookeeper,官网下载的kafka内置了zookeeper依赖。 1.进入kafka官网下载页面http://kafka.apache.org/downloads进行下载,选择二进制文件,再选择任意...原创 2020-01-01 20:05:02 · 165 阅读 · 0 评论 -
消息队列服务Kafka揭秘:痛点、优势以及适用场景
摘要:消息队列Kafka是一个分布式的、高吞吐量、高可扩展性消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等,是大数据生态中不可或缺的产品之一。本文就将带你走进消息队列Kafka。本文摘自阿里云栖社区。以下内容根据演讲视频以及PPT整理而成。视频分享http://click.aliyun.com/m/1000012118/PPT下载链接http://cli...转载 2020-01-01 15:29:26 · 359 阅读 · 0 评论