Maynor的博客

文章目录1. 秒杀项目环境(基于Centos7.6测试全部成功)1.Docker和JDK安装2. 创建Nacos3. 创建MySQL4. 创建Canal数据同步5. 创建Elasticsearch和kibana6. 创建Redis集群7. 创建Zookeeper8. 创建Kafka9. 创建OpenRestry9.1 安装OpenRestry9.2 安装Lua的Kafka插件9.2 安装Lua的Jwt插件9.3 安装Lua的Redis插件10. 创建Druid11. 创建seata12. 创建sentine

kafka对消费者分配分区规则（Java源码)在上一篇 kafka topic消息分配partition规则（Java源码) 我们对生产者产生的消息分配partition规则进行了分析，那么本章我们来看看消费者是怎么样分配partition的。kafka 为了保证同一类型的消息顺序性（FIFO），一个partition只能被同一组的一个consumer绑定消费，不同组的consumer可以绑定同一个partition进行重复消费。但是一个consumer可以绑定多个partition（哈哈不知道这里用绑

目标：了解消息队列的功能，应用场景及特点路径step1：消息队列是什么？step2：什么情况下需要使用消息队列？step3：消息队列的优缺点是什么？实施定义官方定义：消息队列是一种异步的服务间通信方式,是分布式系统中重要的组件,主要解决应用耦合,异步消息,流量削锋等问题,实现高性能,高可用,可伸缩和最终一致性架构。简单点说：消息队列MQ用于实现两个系统之间或者两个模块之间传递消息数据时，实现数据缓存功能基于队列的方式，实现数据缓存应用场景。

Partition：Topic中用于实现分布式存储的物理单元，一个Topic可以有多个分区。下载：http://archive.apache.org/dist/kafka/副本机制：Kafka中每个分区可以构建多个副本【副本个数

分布式实时消息队列Kafka（三）知识点01：课程回顾请简述Kafka的集群架构及角色功能？Kafka：分布式主从架构主： Controller：管理集群中的Topic、分区、副本选举从：Broker：对外接受读写请求，存储分区数据Zookeeper辅助选举Active的主节点：Crontroller存储核心元数据请简述Kafka中Topic管理的脚本及常用选项参数？使用命令行中的脚本命令实现管理脚本：kafka-topics.sh常用选项–topic

分布式实时消息队列Kafka（四）知识点01：课程回顾Kafka中生产者的数据分区规则是什么？先判断是否指定了分区指定分区：写入对应分区没有指定：判断是否指定了Key指定了Key：按照Key的Hash分区没有指定Key：按照黏性分区特点：优先将所有数据构建一个Batch，提交到一个分区中，尽量保证数据分配均衡自定义分区规则step1：开发一个类实现Partitionerstep2：实现一个partition方法step3：生产者指定分区器Kafka中

分布式实时消息队列Kafka（五）知识点01：课程回顾一个消费者组中有多个消费者，消费多个Topic多个分区，分区分配给消费者的分配规则有哪些？分配场景第一次消费：将分区分配给消费者负载均衡实现：在消费过程中，如果有部分消费者故障或者增加了新的消费基本规则一个分区只能被一个消费者所消费一个消费者可以消费多个分区分配规则范围分配规则：每个消费者消费一定范围的分区，尽量均分，如果不能均分，优先分配给标号小的应用：消费比较少的Topic，或者多个Topic都能均分

文章目录前言1、业务需求概述二 项目代码1.模拟交易数据2.创建Maven模块项目结构如下:3.核心代码总结前言每年天猫双十一购物节，都会有一块巨大的实时作战大屏，展现当前的销售情况。这种炫酷的页面背后，其实有着非常强大的技术支撑，而这种场景其实就是实时报表分析。1、业务需求概述​ 模拟交易订单数据，发送至分布式消息队列Kafka，实时消费交易订单数据进行分析处理，业务流程图如下所示：实时从Kafka消费交易订单数据，按照不同维度实时统计【销售订单额】，最终报表Report结果存

3.2.2 安装Kafka-Eagle1.安装JDK，并配置好JAVA_HOME。2.将kafka_eagle上传，并解压到 /export/server 目录中。cd /export/software/tar -xvzf kafka-eagle-bin-1.4.6.tar.gz -C ../server/cd /export/server/kafka-eagle-bin-1.4.6/ tar -xvzf kafka-eagle-web-1.4.6-bin.tar.gzcd /export/s

文章目录Kafka核心理论要点问题01：什么是消息队列？问题02：消息队列有什么好处？问题03：Kafka是什么？问题04：Kafka在大数据中用于什么场景下？问题05：请简述Kafka的集群架构问题06：Kafka中消费者与消费者组的关系是什么？问题07：Kafka中Topic和Partition是什么，如何保证Partition数据安全？问题08：Kafka中的Segment是什么？问题09：Kafka中的Offset是什么？问题10：请简述如何使用Kafka Simple Java API 实现数据生

文章目录Kafka第二天课堂笔记Kafka中的分区副本机制生产者的分区写入策略消费组Consumer Group Rebalance机制消费者的分区分配策略副本的ACK机制高级API（High-Level API）、低级API（Low-Level API）Kafka原理leader和followerAR\ISR\OSRleader选举Kafka读写流程Kafka的物理存储消息传递的语义性Kafka的消息不丢失数据积压数据清理&配额限速Kafka第二天课堂笔记Kafka中的分区副本机制生产者的分

Kafka第一天课堂笔记Kafka简介消息队列消息队列——用于存放消息的组件程序员可以将消息放入到队列中，也可以从消息队列中获取消息很多时候消息队列不是一个永久性的存储，是作为临时存储存在的（设定一个期限：设置消息在MQ中保存10天）消息队列中间件：消息队列的组件，例如：Kafka、Active MQ、RabbitMQ、RocketMQ、ZeroMQKafka的应用场景异步处理可以将一些比较耗时的操作放在其他系统中，通过消息队列将需要进行处理的消息进行存储，其他系统可以消费消息队列