Blue_Pepsi_Cola的博客

收集应用程序和系统的日志数据，并通过 Kafka 将其传输到集中式的日志处理和分析系统，如 ELK（Elasticsearch、Logstash、Kibana）栈。在数据湖中，Kafka 用于将实时数据流传输到数据湖，实现数据的集中存储和管理。在电商平台中，Kafka 用于实时处理用户行为数据、订单数据和库存数据，支持推荐系统和个性化服务。ISR中的副本都是最新的，并且它们的数据与Leader副本一致。在物联网应用中，Kafka 可以收集和处理来自各种传感器和设备的海量数据，支持实时数据分析和决策。

【代码】SpringBoot项目配置多个Kafka。

Kafka传 统定义：Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。======>什么是分布式简单来说，分布式就是将一个大问题拆分成多个小问题，逐一解决，最终协同合作，而将多个系统协同合作完成一个特定任务，支持分布式处理的软件系统，就是我们所说的分布式系统.发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。

【代码】【Kafka】Kafka安装、配置、使用。

【代码】【Kafka】KafkaTopic命令。

main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。Kafka Producer 原理。在消息发送的过程中，涉及到了。在 main 线程中创建了。

如果研发人员可以根据企业需求，自己重新实现分区器需求例如我们实现一个分区器实现，发送过来的数据中如果包含 atguigu，就发往 0 号分区，不包含 atguigu，就发往 1 号分区。实现步骤定义类实现 Partitioner 接口重写 partition()方法/*** 1. 实现接口 Partitioner* 2. 实现 3 个方法:partition,close,configure* 3. 编写 partition 方法,返回分区号/*** 返回信息对应的分区。

可靠性总结：acks=0，生产者发送过来数据就不管了，可靠性差，效率高；acks=1，生产者发送过来数据Leader应答，可靠性中等，效率中等；acks=-1，生产者发送过来数据Leader和ISR队列里面所有Follwer应答，可靠性高，效率低；在生产环境中，acks=0很少使用；acks=1，一般用于传输普通日志，允许丢个别数据；acks=-1，一般用于传输和钱相关的数据，对可靠性要求比较高的场景。

虽然同一个消息不会被写入多个分区，但Kafka有一个副本机制（Replication），用于提高数据的可靠性和容错性。每个分区有一个主副本（Leader）和多个从副本（Follower），这些副本会在不同的Broker上保存相同的数据。相同键的消息会被写入同一个分区，从而保证了消息的顺序性。每个Kafka主题（Topic）可以有多个分区（Partitions），消息在这些分区之间分布。当Producer发送消息到一个分区的主副本时，主副本会将消息复制到从副本中，以保证数据的高可用性。

在Kafka集群中，并不是每个Broker都有一个Controller，而是整个集群中只有一个活跃的Controller。这个Controller由一个Broker担任，其职责是管理和协调整个集群的元数据和状态变更。Kafka Controller职责分区副本状态管理：当一个分区的领导者副本不可用时，Controller负责选举新的领导者副本，确保分区始终有一个活跃的领导者来处理读写请求。Controller监控副本的状态，并确保追随者副本与领导者副本保持同步。

The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash（也称为 ELK Stack）。能够安全可靠地获取任何来源、任何格式的数据，然后实时地对数据进行搜索、分析和可视化。Elaticsearch，简称为 ES，ES 是一个开源的高扩展的分布式全文搜索引擎，是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据；本身扩展性很好，可以扩展到上百台服务器，处理 PB 级别的数据。

这个参数是可选的，它允许您为 FeignClient 指定一个唯一的标识符，以区分不同的 FeignClient。path：这个参数指定了被调用服务的基本路径。value：这个参数指定了 FeignClient 的值，即被调用的服务的名称。在这个例子中，Application.SERVER_NAME 是一个常量，用于指定服务的名称。总体而言，@FeignClient 注解用于声明一个 Feign 客户端，它定义了与目标服务通信的一些基本信息，包括服务名称、上下文 ID 和基本路径等。

Redis是一个开源的key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，Redis支持各种不同方式的排序。与memcached一样，为了保证效率，数据都是缓存在内存中。

简介：现代计算机用二进制(位)作为信息的基础单位，1个字节等于8位，例如“abc”字符串由3个字节组成，但实际在计算机存储时将其用二进制表示，“abc”分别对应的ASCII码是97、98、99对应的二进制分别是01100001、 01100010和01100011。设置键的第offset个位的值（从0算起） ， 假设现在有20个用户，userid=1， 6， 11， 15， 19的用户对网站进行了访问， 那么当前Bitmaps初始化结果如图。2020-11-03 日访问网站的userid=0,1,4,9。

Redis发布订阅(pub/sub)是一种消息通信模式：发布者(pub)发送消息，订阅者(sub)接收消息。Redis客户端可以订阅任意数量的频道。

事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中，不会被其他客户端发送来的命令请求所打断。Redis事务的主要作用就是串联多个命令防止别的命令插队。

超时问题 通过Redis连接池解决超卖问题通过Lua脚本解决watch的乐观锁会造成库存问题。

【代码】SpringBoot整合Redis。

1、输入手机号，点击发送后随机生成6位数字码，2分钟有效。2、输入验证码，点击验证，返回成功或失败。3、每个手机号每天只能输入3次。

Redis会单独创建（fork）一个子进程来进行持久化，会先将数据写入到 一个临时文件中，待持久化过程都结束了，再用这个临时文件替换上次持久化好的文件。整个过程中，主进程是不进行任何IO操作的，这就确保了极高的性能 如果需要进行大规模数据的恢复，且对于数据恢复的完整性不是非常敏感，那RDB方式要比AOF方式更加的高效。redis 支持两种持久化方式，一种是 RDB->Snapshotting（快照）也是默认方式，另一种是 Append-only file（缩写 aof）的方式。

AOF采用文件追加方式，文件会越来越大为避免出现此种情况，新增了重写机制, 当AOF文件的大小超过所设定的阈值时，Redis就会启动AOF文件的内容压缩， 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof官方推荐两个都启用。如果对数据不敏感，可以选单独用RDB。不建议单独用 AOF，因为可能会出现Bug。如果只是做纯内存缓存，可以都不用。

主机数据更新后根据配置和策略， 自动同步到备机的master/slaver机制，Master以写为主，Slave以读为主。

反客为主的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从库转换为主库。

Redis 集群实现了对Redis的水平扩容，即启动N个redis节点，将整个数据库分布存储在这N个节点中，每个节点存储总数据的1/N。Redis 集群通过分区（partition）来提供一定程度的可用性（availability）： 即使集群中有一部分节点失效或者无法进行通讯， 集群也可以继续处理命令请求。