kafka
Crazy_Jeff
这个作者很懒,什么都没留下…
展开
-
kafka监控工具KafkaOffsetMonitor配置及使用
介绍:KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置(偏移量)。你可以查看当前的消费者组,每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以debug kafka的producer和consumer,你完全知道你的系统将会发生什么。...原创 2020-01-06 23:18:28 · 394 阅读 · 0 评论 -
kafka集群安装记录
一、安装多节点zookeeper集群zookeeper下载地址:https://www-us.apache.org/dist/zookeeper/stable/首先说一下zookeeper集群只要满足“半数以上服务器存活”,就能正常提供服务,所以集群的台数最好是奇数,即2N+1台服务器,这样整个zookeeper集群最多可能容忍N台服务器宕机而依然能提供服务。如果用偶数个服务器通常会浪费一...原创 2019-12-26 12:00:58 · 260 阅读 · 0 评论 -
kafka生产环境布署规划
一、操作系统的选型目前布署kafka最多的三种操作系统:linux、 os x 、 windowsLinux要比windows等其他操作系统更适合布署kafka,原因二点:1、epoll I/O模型的使用,在linux上能够获得比windows更高效的I/O处理性能;2、Linux会采用零拷贝技术获得更高的数据网络传输效率(JDK8以后,windows已正式让FileChann...原创 2019-12-12 15:56:16 · 535 阅读 · 0 评论 -
kafka学习记录一(术语)
kafka:消息引擎系统Kafka 的标准定位是分布式流式处理平台(Kafka 0.10.0.0 版本正式推 出了 Kafka Streams ,即流式处理组件 。自此Kafka 正式成为了 个流式处理框架,而不仅仅是 消息引擎了。 )消息引擎系统的两个重要因素:消息设计 + 传输协议设计消息设计:即结构化消息,如soap的xml格式,webservcie的json,kafka采...原创 2019-12-11 17:46:17 · 294 阅读 · 0 评论 -
kafka基本介绍
一、消息队列概述消息队列中间件是分布式系统中重要的组件,主要解决应用解耦,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。目前使用较多的消息队列有ActiveMQ,RabbitMQ,ZeroMQ,Kafka,MetaMQ,RocketMQ二、消息队列应用场景以下介绍消息队列在实际应用中常用的使用场景。异步处理,应用解耦,流量削锋和消息通讯、网站行为日志追踪、审计数据收...原创 2019-12-05 17:36:43 · 228 阅读 · 0 评论 -
kafka的伪分布式环境安装记录
一、确保JDK有安装,强烈推荐使用 Oracle 版本的虚拟机,而非 OpenJDK 版本的虚拟机,下载地址如下:https://www.oracle.com/technetwork/java/javase/downloads/index.htmlvim /etc/profileexport JAVA_HOME=/usr/local/java/jdk1.8.0_171ex...原创 2019-12-10 16:19:08 · 147 阅读 · 0 评论