Kafka学习笔记

Kafka介绍

KAFKA集群搭建（没有主从之分）

开启三台云主机，启动三台zookeeper
进入到/home/software目录下使用wget下载kafka安装包，并解压安装包；地址：wget http://bj-yzjd.ufile.cn-north-02.ucloud.cn/kafka_2.11-1.0.0.tgz
配置kafka：进入到这个文件：/home/software/kafka_2.11-1.0.0/config/server.properties,修改下边这3个属性


启动kafka集群

进入bin目录

执行：sh kafka-server-start.sh …/config/server.properties

KAFKA基本概念

创建自定义的topic

在bin目录下执行：

sh kafka-topics.sh --create --zookeeper hadoop01:2181 --replication-factor 1 --partitions 1 --topic enbook



无论是生产者还是消费者都会去找leader

KAFKA拓扑结构

描述：


组内竞争消费图：

组间共享消费图：

主题与分区深度介绍

这里的特殊主题是在创建了消费者组之后自动生成的

找到对应的偏移量所对应的位置

Kafka消息流处理

流程

KAFAK索引机制

KAFAK的消息系统语义

至多一次

至少一次


精确一次

应用场景

扩展

zero copy 零拷贝技术




纠删码技术：
目前的文件数据容错机制：

适用场景

核心思想

代表算法：里所码算法

副本冗余机制VS纠删码机制