![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Kafka
lishuangzhe7047
这个作者很懒,什么都没留下…
展开
-
Apache Kafka 介绍
流平台三个重要功能1. 发布和订阅流,在这方面它类似消息队列或企业级的消息系统2. 容错的方式存储流3. 处理流 kafka的优势有哪些它主要应用在以下两大类: 1. 构建实时的流数据管道,在应用与系统之间获取流数据。 2. 构建实时的流应用程序,对数据流进行转换或相应。为了了解kafka是如何做这些事的,我们自下而上深入探究kafka的能力。首先几个概念 kafka作为一个集群翻译 2017-05-25 18:20:45 · 1021 阅读 · 1 评论 -
Kafka基础(二)
首先要明确一下kafka中topic、分区与broker的关系。 broker:指的是kafka集群中的一个服务器 topic:消息的主题,指同一类别的消息 分区:消息分几块存储在broker上,一块就是一个分区一个topic分多个分区存放,如下图一个分区分布到多个broker中 在设置了分区副本时,一个分区中的数据,会在其他broker上备份,副本中的数据和数据顺序都和主分区中的一致原创 2017-06-13 12:22:01 · 766 阅读 · 0 评论 -
Kafka基础(一)
1.概述 经过一个多月的时间观察,业务上在集成Kafka后,各方面还算稳定,这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门,让大家对Kafka有个初步的了解,知道Kafka是做什么的,下面是本篇博客的目录内容:Kafka背景 Kafka应用场景 Kafka架构原理 下面开始今天的博客分享内容。2.Kafka背景 Kafka它本质上是转载 2017-06-20 15:19:56 · 1124 阅读 · 2 评论 -
Kafka 生产消费实例
环境准备 创建topic命令行模式 执行生产者消费者实例客户端模式 运行消费者生产者1. 环境准备 说明:kafka集群环境我比较懒直接使用公司现有的环境。安全起见,所有的操作都是在自己用户下完成的,若是自己的kafka环境,完全可以使用kafka管理员的用户。创建topic时需要在kafka管理员的用户下完成。1.登录到kafka集群中节点,并切换到kafka管理员用户下ssh原创 2017-06-12 20:28:32 · 9950 阅读 · 1 评论 -
Kafka分区策略及自定义
默认分区策略默认分区策略是:取正(bytearray生成32位hash值)%numpartitions 这个公式的结果是得到0-(numpartitions-1)间正整数的个数大致相等,也就是说kafka的默认分区策略是无论我们给定多少个分区,我们存放的数据基本上会平均的分到各个分区上。private int defaultPartition(String topic, Object key, b原创 2017-06-13 17:13:18 · 10952 阅读 · 1 评论 -
Kafka auto.offset.reset值详解
昨天在写一个java消费kafka数据的实例,明明设置auto.offset.reset为earliest,但还是不从头开始消费,官网给出的含义太抽象了。 earliest: automatically reset the offset to the earliest offset,自动将偏移量置为最早的。难道不是topic中各分区的开始?结果还真不是,具体含义如下:auto.offset.res原创 2017-07-06 11:25:22 · 209732 阅读 · 34 评论