![](https://img-blog.csdnimg.cn/20190927151117521.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
大数据-KAFKA
大数据的各个组件详解
白眼黑刺猬
技术分享 ,线上线下授课
微信 17710299606
展开
-
多易教育KAFKA实战(4)-原理加强
本节目录 数据可靠性 数据一致性 kafka消费者组 1 数据可靠性 Kafka作为一个商业级消息中间件,消息可靠性的重要性可想而知。下面要探讨的角度: Producer 往 Broker 发送消息 Topic 分区副本 Leader 选举 1.1 分区副本 在 Kafka 0.8.0 之前,Kafka 是没有副本的概念的,那时候人们只会用 Kafka 存储一些不重要的数据,因为没有副本,数据很可能会丢失。但是随着业务的发展,支持副本的功能越来越强烈,所以为了保证数据的可靠性,...原创 2020-06-11 15:45:51 · 1529 阅读 · 1 评论 -
多易教育KAFKA实战(3)-java消费者客户端API示例代码
本节目录 入门程序 消费日志topic 滑动窗口统计消费topic 1 入门程序 public class ConsumerDemo { public static void main(String[] args) { Properties props = new Properties(); props.setProperty("key.deserializer", "org.apache.kafka.common.serialization.String原创 2020-06-11 15:35:08 · 1345 阅读 · 1 评论 -
多易教育KAFKA实战(2)-java生产者客户端API示例代码
案例一 入门实例 /** * java客户端模拟生产者生产topic * topic是数据的分类主题 */ public class Producter1 { public static void main(String[] args) throws InterruptedException { Properties p = new Properties(); p.setProperty("key.serializer", "org.apache.kaf.原创 2020-06-08 18:08:51 · 1919 阅读 · 0 评论 -
多易教育KAFKA实战(1)-KAFKA集群安装和shell客户端
注意kafka的安装需要依赖Zookeeper集群 ,所以安装kafka之前先安装zookeeper! zookeeper安装 上传安装包 解压 tar -zxvf zookeeper-3.4.6.tar.gz 修改配置文件 (1)进入配置文件目录 cd /usr/apps/zookeeper-3.4.6/conf (2)修改配置文件名称 mv zoo_sample.cfg zoo.cfg (3)编辑配置文件 vi zoo.cfg ...原创 2020-06-08 15:06:18 · 1956 阅读 · 1 评论 -
如何为Kafka集群选择合适的Topics/Partitions数量
这是许多kafka使用者经常会问到的一个问题。本文的目的是介绍与本问题相关的一些重要决策因素,并提供一些简单的计算公式。 越多的分区可以提供更高的吞吐量 首先我们需要明白以下事实:在kafka中,单个patition是kafka并行操作的最小单元。在producer和broker端,向每一个分区写入数据是可以完全并行化的,此时,可以通过加大硬件资源的利用率来提升系统的吞吐量,例如对数据进行压缩。在consumer段,kafka只允许单个partition的数据被一个consumer线程消费。...原创 2020-06-08 10:28:36 · 2316 阅读 · 1 评论 -
32 道常见的 Kafka 面试题你都会吗?附答案
问题列表 Kafka都有哪些特点? 请简述下你在哪些场景下会选择Kafka? Kafka的设计架构你知道吗? Kafka分区的目的? 你知道Kafka是如何做到消息的有序性? Kafka的高可靠性是怎么实现的? 请谈一谈Kafka数据一致性原理 ISR、OSR、AR是什么? LEO、HW、LSO、LW等分别代表什么 Kafka在什么情况下会出现消息丢失? 怎么尽可能保证Kafka的可靠性 消费者和消费者组有什么关系? Kafka的每个分区只能被一个消费...原创 2020-06-08 10:02:25 · 2739 阅读 · 1 评论 -
大数据之KAFKA (五) zookeeper中的数据存储
一、Kafka在zookeeper中存储结构图 回到顶部 二、分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 [zk: localhost:2181(CONNECTED) 1] get /brokers/topics/topic2 Schema: { "version": "版本编号目前固定为数字1", "partitions": { "partiti原创 2020-06-05 15:14:27 · 2862 阅读 · 0 评论 -
大数据之KAFKA (四) 安装详解
回到顶部 一、下载 下载地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 回到顶部 二、安装前提(zookeeper安装) 参考http://www.cnblogs.com/qingyunzong/p/8634335.html#_label4_0 回到顶部 三、安装 此处使用版本为kafka_2.11-0.8.2.0.tgz 2.1 上传解压缩 [hadoop@hadoop原创 2020-06-05 15:12:07 · 2092 阅读 · 0 评论 -
大数据之KAFKA (三) 高可用
一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同时Producer都不能再将数据存于这些Partition中。 如果Producer使用同步模式则Producer会在尝试重新发送message.send.max.retries(默认值为3)次后抛出Excepti原创 2020-06-05 11:46:27 · 1881 阅读 · 0 评论 -
大数据之KAFKA (二) 架构设计
一、Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干Producer(可以是web前端产生的Page View,或者是服务器日志,系统CPU、Memory等),若干broker(Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高),若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在Consumer Group发生变化时进行rebalance。Producer使用push模式将消息发布到b原创 2020-06-05 10:57:40 · 1850 阅读 · 0 评论