![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据架构
靠谱的JIAO
这个作者很懒,什么都没留下…
展开
-
kafa官网document翻译—第一章1.3快速入门
1.3快速入门 教程假定你是开始无经验的,没有kafka或者Zookeeper数据。由于kafka控制台脚本在unix和windows平台是不同的,在windows平台使用bin\windows代替bin/,修改扩展名为.bat。 步骤1:下载源码 下载0.10.2.0版本,然后解压。 > tar -xzf kafka_2.11-0.10.2.0.tgz > cd kafka_2.11原创 2017-04-05 15:01:21 · 321 阅读 · 0 评论 -
kafa官网document翻译—第四章
4、设计 4.1 动机 我们设计kafka的目的是把它作为一个统一平台来把所有实时数据提供给大团队。为了达到这个目的我们要彻底想清楚一套应用相当广泛的使用场景。 它应该有高吞吐量来支持大量事件流。比如实时日志集合。 它需要能优雅的处理大量积压数据来支持线上大并发。 这意味着系统将要处理低延时发送来处理更多传统使用场景的消息。原创 2017-04-01 18:37:25 · 282 阅读 · 0 评论 -
kafa官网document翻译—第一章
1、入门 1.1介绍 kafka是一个分布式流处理平台。 ....... kafka有四种api: 生产者API允许一个应用给kafka topics发布一些流记录。 消费者API:允许一个应用订阅一些topics,处理流记录。 流API:允许一个应用成为流处理器,消费一些topics的输入流,生产output topics原创 2017-04-05 11:32:17 · 307 阅读 · 0 评论 -
kafka的partition和offset
转载自:http://www.tuicool.com/articles/MZNfAj7 在kafka快速上手中,留下的问题是关于partition和offset,这篇文章主要解释这个. Log机制 说到分区,就要说kafka对消息的存储.在 官方文档 中. 首先,kafka是通过log(日志)来记录消息发布的.每当产生一个消息,kafka会记录到本地的log文件中,转载 2017-05-02 18:40:19 · 10894 阅读 · 0 评论