![](https://img-blog.csdnimg.cn/20190927151053287.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
中间件
文章平均质量分 81
Redis是一个高性能的key-value数据库。
Kafka是一种高吞吐量 的分布式发布订阅消息系统。
boy快快长大
只要今天比昨天好,这不就是希望吗
展开
-
【Kafka 面试题】分布式通讯之Kafka面试题汇总(基础+进阶+高阶)-01
收集应用程序和系统的日志数据,并通过 Kafka 将其传输到集中式的日志处理和分析系统,如 ELK(Elasticsearch、Logstash、Kibana)栈。在数据湖中,Kafka 用于将实时数据流传输到数据湖,实现数据的集中存储和管理。在电商平台中,Kafka 用于实时处理用户行为数据、订单数据和库存数据,支持推荐系统和个性化服务。ISR中的副本都是最新的,并且它们的数据与Leader副本一致。在物联网应用中,Kafka 可以收集和处理来自各种传感器和设备的海量数据,支持实时数据分析和决策。原创 2024-06-25 14:58:16 · 693 阅读 · 0 评论 -
【Kafka】SpringBoot项目配置多个Kafka
【代码】SpringBoot项目配置多个Kafka。原创 2024-05-14 23:16:13 · 179 阅读 · 0 评论 -
【Kafka】第一章Kafka入门-01
Kafka传 统定义:Kafka是一个分布式的基于发布/订阅模式的消息队列(Message Queue),主要应用于大数据实时处理领域。======>什么是分布式简单来说,分布式就是将一个大问题拆分成多个小问题,逐一解决,最终协同合作,而将多个系统协同合作完成一个特定任务,支持分布式处理的软件系统,就是我们所说的分布式系统.发布/订阅:消息的发布者不会将消息直接发送给特定的订阅者,而是将发布的消息分为不同的类别,订阅者只接收感兴趣的消息。原创 2023-07-02 12:00:01 · 2519 阅读 · 0 评论 -
【Kafka】Kafka安装、配置、使用、Java中使用-02
【代码】【Kafka】Kafka安装、配置、使用。原创 2024-04-06 22:08:17 · 1661 阅读 · 0 评论 -
【Kafka】KafkaTopic命令-03
【代码】【Kafka】KafkaTopic命令。原创 2024-04-21 22:49:37 · 612 阅读 · 1 评论 -
【Kafka】Kafka生产者-04
main 线程将消息发送给 RecordAccumulator,Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。Kafka Producer 原理。在消息发送的过程中,涉及到了。在 main 线程中创建了。原创 2024-06-15 09:04:13 · 392 阅读 · 0 评论 -
【Kafka】Kafka Producer 分区-05
如果研发人员可以根据企业需求,自己重新实现分区器需求例如我们实现一个分区器实现,发送过来的数据中如果包含 atguigu,就发往 0 号分区,不包含 atguigu,就发往 1 号分区。实现步骤定义类实现 Partitioner 接口重写 partition()方法/*** 1. 实现接口 Partitioner* 2. 实现 3 个方法:partition,close,configure* 3. 编写 partition 方法,返回分区号/*** 返回信息对应的分区。原创 2024-06-15 15:07:19 · 1160 阅读 · 0 评论 -
【Kafka】Kafka提高生产者吞吐量、数据可靠性-06
可靠性总结:acks=0,生产者发送过来数据就不管了,可靠性差,效率高;acks=1,生产者发送过来数据Leader应答,可靠性中等,效率中等;acks=-1,生产者发送过来数据Leader和ISR队列里面所有Follwer应答,可靠性高,效率低;在生产环境中,acks=0很少使用;acks=1,一般用于传输普通日志,允许丢个别数据;acks=-1,一般用于传输和钱相关的数据,对可靠性要求比较高的场景。原创 2024-06-16 12:19:13 · 1293 阅读 · 0 评论 -
【Kafka】Kafka生产者数据重复、数据有序、数据乱序-07
虽然同一个消息不会被写入多个分区,但Kafka有一个副本机制(Replication),用于提高数据的可靠性和容错性。每个分区有一个主副本(Leader)和多个从副本(Follower),这些副本会在不同的Broker上保存相同的数据。相同键的消息会被写入同一个分区,从而保证了消息的顺序性。每个Kafka主题(Topic)可以有多个分区(Partitions),消息在这些分区之间分布。当Producer发送消息到一个分区的主副本时,主副本会将消息复制到从副本中,以保证数据的高可用性。原创 2024-06-16 17:33:46 · 644 阅读 · 2 评论 -
【Kafka】Kafka Broker工作流程、节点服役与退役、副本、文件存储、高效读写数据-08
在Kafka集群中,并不是每个Broker都有一个Controller,而是整个集群中只有一个活跃的Controller。这个Controller由一个Broker担任,其职责是管理和协调整个集群的元数据和状态变更。Kafka Controller职责分区副本状态管理:当一个分区的领导者副本不可用时,Controller负责选举新的领导者副本,确保分区始终有一个活跃的领导者来处理读写请求。Controller监控副本的状态,并确保追随者副本与领导者副本保持同步。原创 2024-06-21 21:53:03 · 939 阅读 · 0 评论 -
【Elasticsearch】基础入门、索引、文档、查询-01
The Elastic Stack, 包括 Elasticsearch、Kibana、Beats 和 Logstash(也称为 ELK Stack)。能够安全可靠地获取任何来源、任何格式的数据,然后实时地对数据进行搜索、分析和可视化。Elaticsearch,简称为 ES,ES 是一个开源的高扩展的分布式全文搜索引擎,是整个 Elastic Stack 技术栈的核心。它可以近乎实时的存储、检索数据;本身扩展性很好,可以扩展到上百台服务器,处理 PB 级别的数据。原创 2024-06-18 19:20:44 · 727 阅读 · 0 评论 -
【OpenFeign-01】OpenFeign使用demo
这个参数是可选的,它允许您为 FeignClient 指定一个唯一的标识符,以区分不同的 FeignClient。path:这个参数指定了被调用服务的基本路径。value:这个参数指定了 FeignClient 的值,即被调用的服务的名称。在这个例子中,Application.SERVER_NAME 是一个常量,用于指定服务的名称。总体而言,@FeignClient 注解用于声明一个 Feign 客户端,它定义了与目标服务通信的一些基本信息,包括服务名称、上下文 ID 和基本路径等。原创 2024-04-20 23:23:02 · 915 阅读 · 0 评论 -
【Redis-01】Redis6(Remote Dictionary Server)
Redis是一个开源的key-value存储系统。和Memcached类似,它支持存储的value类型相对更多,包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作,而且这些操作都是原子性的。在此基础上,Redis支持各种不同方式的排序。与memcached一样,为了保证效率,数据都是缓存在内存中。原创 2022-11-19 16:49:33 · 180 阅读 · 0 评论 -
【Redis-02】Redis6新数据类型Bitmaps
简介:现代计算机用二进制(位)作为信息的基础单位,1个字节等于8位,例如“abc”字符串由3个字节组成,但实际在计算机存储时将其用二进制表示,“abc”分别对应的ASCII码是97、98、99对应的二进制分别是01100001、 01100010和01100011。设置键的第offset个位的值(从0算起) , 假设现在有20个用户,userid=1, 6, 11, 15, 19的用户对网站进行了访问, 那么当前Bitmaps初始化结果如图。2020-11-03 日访问网站的userid=0,1,4,9。原创 2022-12-19 22:09:22 · 358 阅读 · 0 评论 -
【Redis-03】Redis发布和订阅
Redis发布订阅(pub/sub)是一种消息通信模式:发布者(pub)发送消息,订阅者(sub)接收消息。Redis客户端可以订阅任意数量的频道。原创 2022-12-19 21:06:17 · 64 阅读 · 0 评论 -
【Redis-04】Redis事务、Lua
事务中的所有命令都会序列化、按顺序地执行。事务在执行的过程中,不会被其他客户端发送来的命令请求所打断。Redis事务的主要作用就是串联多个命令防止别的命令插队。原创 2022-12-21 22:28:45 · 116 阅读 · 0 评论 -
【Redis-04 补充】Redis事务
超时问题 通过Redis连接池解决超卖问题通过Lua脚本解决watch的乐观锁会造成库存问题。原创 2024-06-28 15:12:54 · 1123 阅读 · 0 评论 -
【Redis-05】SpringBoot整合Redis
【代码】SpringBoot整合Redis。原创 2022-12-20 22:36:20 · 114 阅读 · 0 评论 -
【Redis-06】Redis短信发送案例&Jedis学习
1、输入手机号,点击发送后随机生成6位数字码,2分钟有效。2、输入验证码,点击验证,返回成功或失败。3、每个手机号每天只能输入3次。原创 2022-12-20 21:59:12 · 205 阅读 · 0 评论 -
【Redis-07】Redis持久化之RDB
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到 一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能 如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。redis 支持两种持久化方式,一种是 RDB->Snapshotting(快照)也是默认方式,另一种是 Append-only file(缩写 aof)的方式。原创 2022-12-21 23:06:10 · 534 阅读 · 0 评论 -
【Redis-08】Redis持久化之AOF
AOF采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制, 当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩, 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof官方推荐两个都启用。如果对数据不敏感,可以选单独用RDB。不建议单独用 AOF,因为可能会出现Bug。如果只是做纯内存缓存,可以都不用。原创 2022-12-22 11:22:58 · 1481 阅读 · 0 评论 -
【Redis-09】Redis6 主从复制
主机数据更新后根据配置和策略, 自动同步到备机的master/slaver机制,Master以写为主,Slave以读为主。原创 2022-12-22 17:47:27 · 534 阅读 · 0 评论 -
【Redis-10】Redis6 哨兵模式
反客为主的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库。原创 2022-12-23 13:54:48 · 176 阅读 · 0 评论 -
【Redis-11】Redis集群
Redis 集群实现了对Redis的水平扩容,即启动N个redis节点,将整个数据库分布存储在这N个节点中,每个节点存储总数据的1/N。Redis 集群通过分区(partition)来提供一定程度的可用性(availability): 即使集群中有一部分节点失效或者无法进行通讯, 集群也可以继续处理命令请求。原创 2022-12-23 15:03:21 · 81 阅读 · 0 评论