消息队列
代码艺术
这个作者很懒,什么都没留下…
展开
-
kafka Steams详解
1 概况 Kafka Streams是一套处理分析Kafka中存储数据的客户端类库,处理完的数据或者写回Kafka,或者发送给外部系统。它构建在一些重要的流处理概念之上:区分事件时间和处理时间、开窗的支持、简单有效的状态管理等。Kafka Streams入门的门槛很低:很容易编写单机的示例程序,然后通过在多台机器上运行多个实例即可水平扩展从而达到高吞吐量。Kafka Streams利用转载 2017-11-08 16:56:32 · 5642 阅读 · 1 评论 -
kafka常用操作命令
1消息传递术语:代理(broker):kafka集群由一个或多个服务器组成。每个服务器称为代理主题(topic):维护一组消息分类分区(partition):隶属于主题,每个主题会包含多个分区,消息(msg):隶属于分区,每个分区有一个消息序列,每个消息在该分区中都有一个唯一的序号,这个序号叫偏移量生产者(producer):向kafka发送消息消费者(consumer转载 2017-11-08 16:57:27 · 871 阅读 · 0 评论 -
kafka配置手册
.目录kafka中文文档0100目录相关资料入门1介绍主题和日志分布式生产者消费者保证此处翻译偏差较大待重新翻译2使用案例 消息处理网站活动跟踪度量日志收集流处理Event Sourcing提交日志3快速开始 步骤1下载代码 步骤2启动服务 步骤3创建一个主题转载 2017-11-08 16:58:26 · 1761 阅读 · 0 评论 -
window单机开发环境搭建
组件:kafka服务、kafka自带zookeeper服务 版本:2.11-0.11.0.1 根据配置文件新建日志目录 一、Zookeeper服务启动进程F:\lb\soft\kafka\bin\windows\zookeeper-server-start.bat F:\lb\soft\kafka\config\zookeeper.properties二、Kaf原创 2017-11-08 16:59:03 · 255 阅读 · 0 评论 -
压力测试
producer吞吐率该项测试只测producer的吞吐率,也就是数据只被持久化,没有consumer读数据。总数据条数50 million。测试过程中可以改变不同参数的取值,来测试特定参数对性能的影响。使用官方提供的测试工具kafka-producer-perf-test.sh来测试。kafka-producer-perf-test.sh中参数说明:转载 2017-11-08 16:59:58 · 478 阅读 · 0 评论 -
kafka ZK 元数据存储机制
1.topic注册信息/brokers/topics/[topic]:存储某个topic的partitions所有分配信息Schema:{ "version": "版本编号目前固定为数字1", "partitions": { "partitionId编号": [ 同步副本组brokerId列表转载 2017-11-08 17:00:24 · 2504 阅读 · 0 评论 -
kafka 节点物理存储机制
总览:储采用了分区(partition),分段(LogSegment)和稀疏索引这几个手段来达到了高效性分区:话题分区分段:分区存储文件分段稀疏索引:以分段对应索引采用相对偏移量进行检索范围的缩小(如一个分区分为五段,每个分段都会对应一个索引文件.index,存储消息的相对偏移量和分区分段名称) 术语解析:Topic:主题Partition:分区Offse转载 2017-11-08 17:00:45 · 1508 阅读 · 0 评论