![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
文章平均质量分 88
小南瓜瓜
这个作者很懒,什么都没留下…
展开
-
kafka 1.0 中文文档(二) -- APIS
1 Producer API2 Consumer API3 Streams API4 Connect API5 AdminClient API6传统的APIkafka包括五个核心apis: 1. Producer API允许应用程序将数据流发送到Kafka集群中的主题。 2. Consumer API允许应用程序从Kafka集群中的主题读取数据流。 3. Streams AP原创 2017-12-18 16:53:21 · 3592 阅读 · 0 评论 -
kafka 1.0 中文文档(九):操作
1基本的Kafka操作添加和删除主题修改主题平滑关闭leadership 平衡通过机架平衡副本集群间的数据镜像检查消费者位置管理消费者组集群扩展自动迁移数据到新机器上自定义分区分配和迁移退役经纪人 Decommissioning brokers增加复制因子限制数据迁移过程中的带宽使用ZooKeeperLog configurationOther configura原创 2018-01-22 18:03:32 · 1081 阅读 · 0 评论 -
kafka 1.0 中文文档(八):实现
1网络层2消息3消息格式31 Record Batch311 Control Batches32 Record4 日志写读删除保证5分布式消费者偏移量跟踪把offset从ZooKeeper迁移到KafkaZooKeeper目录NotationBroker Node Registry代理节点注册Broker Topic RegistryConsumers an原创 2018-01-22 18:02:48 · 1299 阅读 · 0 评论 -
KAFKA 1.0 文档(一):快速入门
1简介主题和日志分布式生产者消费者保证kafka作为消息系统卡夫卡作为存储系统kafka作为数据流处理整合2 使用案例消息处理Metrics度量日志收集流处理事件溯源Event Sourcing提交日志Commit Log3 快速开始Step 1 下载代码Step 2 启动服务Step 3 创建一个主题Step 4 发送消息Step 5 启动消费者Ste原创 2017-12-18 16:47:41 · 2259 阅读 · 0 评论 -
KAFKA 1.0 文档(七):设计
设计1动机2持久化不要害怕文件系统恒定的时间复杂度3效率端到端的批量压缩4生产者负载均衡异步发送5消费者推送 vs 拉取消费位置离线数据加载6消息传递语义7 复本复制日志法定人数ISR和状态机不纯洁的leader选举如果所有副本都失效了怎么办可用性和持久性副本管理8日志压缩日志压缩基础日志压缩提供了什么保证日志压缩细节Configuring The L原创 2017-12-25 14:10:41 · 868 阅读 · 0 评论 -
KAFKA 1.0 文档(六):消费者配置
新的消费者配置 Name Description 类型 默认值 重要性 bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载,不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts(用于发现全部的servers这个列表格式:host1:port1,host2:po原创 2017-12-20 14:05:38 · 2758 阅读 · 0 评论 -
KAFKA 1.0 文档(五):生产者配置
从0.11.0.0开始生产者配置block.on.buffer.full,metadata.fetch.timeout.ms和timeout.ms已被删除。 以下是Java生产者的配置: name description default import bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载原创 2017-12-20 13:54:33 · 1804 阅读 · 0 评论 -
kafka 1.0 中文文档(四)--主题级别配置(Topic-Level Configs)
Kafka topic级别的配置参数。首先是可以在配置文件中设置全局性的topic配置参数,其次是可以在创建topic时使用 –confi设置一个或多个自定义的配置。自定义的配置项优先级别会高于全局配置。 这是在创建一个topic时自定义了最大的消息字节数和消息持久化参数: > bin/kafka-topics.sh –zookeeper localhost:2181 –create原创 2017-12-20 10:16:14 · 5698 阅读 · 0 评论 -
kafka 1.0 中文文档(三)--Broker的配置
3.1 Broker Configs基本配置如下: 1. broker.id 2. log.dirs 3. zookeeper.connect下面将更详细地讨论主题级别的配置和默认设置。 名称 描述 类型 默认 重要性 zookeeper.connect Zookeeper 主机地址 string high adverti原创 2017-12-20 10:12:55 · 6647 阅读 · 0 评论 -
kafka 1.0 中文文档(十):kafka streaming
1运行demo1准备输入的主题并启动Kafka生产者2启动Wordcount应用程序3处理一些数据4停止应用程序2流处理程序编程指南建立一个Maven项目编写第二个Streams应用程序Line Split编写第三个Streams应用程序Wordcount9.1运行demoKafka Streams是用于构建关键任务实时应用程序和微服务的客户端库,输入和(或)输出数据存储在Kafk原创 2018-01-22 18:04:09 · 1103 阅读 · 0 评论