Kafka深入讲解

1.核心概念
broker: 进程
producer: 生产者
consumer: 消费者
topic: 主题
partitions: 分区  (副本数)

consumergroup:
1.容错性的消费机制
2.一个组内，共享一个公共的ID groupid
3.组内的所有消费者协调在一起，去消费topic的所有的分区
4.每个分区只能由同一个消费组的一个消费者来消费

副本数：每个分区有几个副本，以3为例：
发送123--> 0分区  在2,3机器上面也有个0分区，会备份123.   

offset: 每个partition的数据的id
kafka中的offset

segment: 
1.分为log和index文件
2.通过配置以下参数设置回滚
log.segment.bytes
log.roll.hours
3.命名规则: 上一个segment分组log文件的最大offset

2.消费语义

at most once: 最多消费一次  消费可能丢失  但是不会重复消费 ？-->适用于不重要的log，丢几条没事
at least once: 至少消费一次  消费不可能丢失 但是会重复消费 ？-->不用担心丢失，但数据会重复，需考虑去重
exactly once: 正好一次 消息不会丢失 也不会重复(这才是我们想要的)
          但0.10.0.1 不支持不能实现 0.11官方已支持

数据去重：1.HBase的put操作，MySQL的update insert操作。2.把数据放到redis，在redis中去重

consumer offset:
数据：1,2,3,4,5
传到：1,2,3consumer挂了，offset没有维护
那么重启后从上一次的更新的offset的位置去消费（断点还原） 

0.10版本的offset是存在kafka自己本身 
topic： test
内嵌一个topic：如

 

3.Flume-->Kafka-->Spark streaming 经典案例
Pom：

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0_0.xsd">
  <modelVersion>4.0.0</modelVersion>