kafka
yanzhelee
这个作者很懒,什么都没留下…
展开
-
Kafka背景及架构介绍
Kafka背景及架构介绍Kafka是由LinkedIn开发的一个分布式的消息系统,使用Scala编写,它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。转载 2017-09-01 00:47:00 · 730 阅读 · 0 评论 -
Kafka的基本shell命令
Kafka内核总结1 Message一个kafka的Message由一个固定长度的header和一个变长的消息体body组成。header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1时,会在magic和CRC32之间多一个字节的数据:attributes(保存一些相关属性,比如是否压缩、压缩格式等信息);如果magic的值为原创 2017-10-02 17:06:49 · 1025 阅读 · 0 评论 -
Kafka内核总结
Kafka内核总结1 Message一个kafka的Message由一个固定长度的header和一个变长的消息体body组成。header部分由一个字节的magic(文件格式)和四个字节的CRC32(用于判断body消息体是否正常)构成。当magic的值为1时,会在magic和CRC32之间多一个字节的数据:attributes(保存一些相关属性,比如是否压缩、压缩格式等信息);如果magic的值为原创 2017-10-02 17:10:07 · 865 阅读 · 0 评论