学习kafka

一个存放消息的组件
生产者，  消费者，  broker三部分

消息队列的两种模式
*生产者和消费者（消费者主动拉取信息，然后删除）
*发布订阅（）

kafka基础架构*一个topic有多个partition（副本（信息非全量），有分leader和follower）
*消费者组（只消费leader的）（一个分区一个消费者处理）
*zookeeper（）


安装

修改broker id
修改ZK地址
修改数据存放路径

生产者原理：

流程：数据——缓存——集群
        数据量先写道缓存 到达指定批次数量（batch）（默认16K），或等待时间(linger)（默认0秒）就发送

        *可以异步发送

        *可以异步发送回调

        *同步发送

        分区
        *1有指定的-指定partution
        *2有key的-根据key和toipc的partition数取余，
        *3啥没有的-粘性分区（随机，批次满了或时间到在随机下一个）

         怎么提高吞吐量

        *加大批次（batch）（默认16K）
        *等待时间(linger)（默认0
        *压缩
        *修改缓冲区大小（默认32M）

        幂等性：（无论发送多少次，都只保存一条）
        去重性（最多一次）配置acks
        可靠性（最少一次）

        有序性（开启幂等性，或者设置单分区）

架构

        消费者

        broker
                broker
                topic
                partition分区
                        可靠性（副本（leader,folloer））
                        生产者和消费者只对leader操
                        一个分区只有一个消费者

        消费者

        zookeeper
                broker.ids
                leader
                辅助选举

生产者API

        *send()异步发送
        *可以回调可以实现同步
        *批量发送设置（batch）（默认16K），或等待时间(linger)默认0）
        *配置acks
                (acks=0或者1)最多一次（去重）
                 (acks=-1或者retries>0)最少一次（可靠）
        

消费者API
        可以自动提交或者手动提交（单条或者批量提交）
 

支持事务y

      隔离级别 读未提交,读提交