weixin_53854647-CSDN博客

原创 redis

mset，mget这样的多个key的原生批量操作命令，redis集群只支持所有key落在同一slot的情况，如果多个key一定要用mset命令在集群上操作，则可以在key的前面加上{***}，这样参数数据分片hash计算的只会大括号里的值，这样确保不同的key落在同一slot里。步骤：先更新db数据，再写入数据到redis，启动一个定时任务将db数据同步到redis中，前端发起接口查询请求，先从redis查询，redis没有数据的话，加一个分布式锁，再从redis数据查询并返回。槽位的信息储存于每个节点。

2023-06-07 23:20:12 95 1

原创 Java面试

java虚拟机是执行字节码文件（.class）的虚拟机进程。java源程序(.java)被编译器编译成字节码文件(.class)。然后字节码文件，将由java虚拟机，解释为机器码。利用机器码操作硬件和操作系统。[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Vubek6vR-1686151033636)(C:\Users\陈子文\AppData\Roaming\Typora\typora-user-images\image-20230529221523475.png)]

2023-06-07 23:20:05 87 1

原创 mysql

二叉查找树BST若左子树不空，则左子树上所有结点的值均小于它的根结点的值；若右子树不空，则右子树上所有结点的值均大于它的根结点的值；左、右子树也分别为二叉排序树；没有键值相等的节点查找最好时间复杂度 O(logN)，最坏时间复杂度 O(N)；插入删除操作算法简单，时间复杂度与查找差不多。缺点：最差情况下竟然和顺序查找效率相当平衡二叉树AVL概念：它是一棵空树或它的左右两个子树的高度差的绝对值不超过 1，并且左右两个子树都是一棵平衡二叉树。

2023-06-07 23:19:39 577 1

原创 springstreaming消费kafka数据的两种高可用方式详解

这种方式会周期性地查询Kafka，来获得每个topic+partition的最新的offset，从而定义每个batch的offset的范围，存放到redis和checkpoint中，Executor并依据redis中的key取出偏移量并决定每个batch要接收的offset范围，拉取到的数据供sparkStreaming处理。1. 当我们读取Topic下的数据时，它会自动对应Topic下的Partition生成相对应数量的RDD Partition，提高了计算时的并行度，提高了效率。

2023-05-31 09:03:57 452 3

原创简述 Spark 的架构与作业提交流程

减少了磁盘的读写操作，提高了框架计算效率。2. cluster manager 根据资源调度算法分配并监控资源使用情况，分配资源给work节点，work节点为应用启动多个executor，同时节点汇报心跳情况给cluster manager，便于集群管理器对executor 进行状态监控，如果监控到executor 失败，则立刻重新创建。Mesos是一款资源调度管理系统，为Spark提供服务，由于Spark与Mesos存在密切的关系，因此在设计Spark框架时充分考虑到对Mesos的集成。

2023-05-28 13:00:53 484

原创 Flink中的TableAPI

所有用于批处理和流处理的 Table API 和 SQL 程序都遵循相同的模式。下面的代码示例展示了 Table API 和 SQL 程序的通用结构。Table API 和 SQL 查询可以很容易地集成并嵌入到 DataStream 程序中。

2023-04-17 14:49:18 371

原创湖仓一体项目的优势

HiveCatalog作为表元数据吃计划的介质，在生产环境我们一般采用HiveCatalog来管理元数据，这样的好处不需要重复使用DDL创建表，只需要关系业务逻辑SQL，简化了开发的流程，可以节省很多时间。Flink将表的元数据保存在hive的元数据中，在hive中可以看到Flink表，但是不能对flink的表进行查询。5、所有层的数据都可在Hive中通过Hive的同步表进行查询(底层只有一份数据)在Flink中创建表，表的元数据可以保存在Hive的元数据中，元数据不会丢失。1、传统的数仓中的分层思想。

2023-04-16 18:26:35 82 1

原创 Lomdba和Kappa的含义以及优缺点

由 LinkedIn 的前首席工程师杰伊·克雷普斯（Jay Kreps）提出的一种架构思想。克雷普斯是几个著名开源项目（包括Apache Kafka和 Apache Samza 这样的流处理系统）的作者之一，也是现在 Confluent 大数据公司的 CEO。

2023-04-15 09:36:30 291 1

weixin_53854647的博客