Shyllin-CSDN博客

Coordinator协调器：用于接受用户查询并管理工作节点以执行查询工作。Worker工作节点：负责执行任务和处理数据。协调器上通常会运行一个节点发现服务（discovery service），工作节点通过注册到此服务以加入集群。客户端、协调器和工作节点之间的通信和数据传输完全通过基于 HTTP/HTTPS 的 RESTful API 调用。

2023-08-22 22:58:02 300

原创 Unable to register with external shuffle server due to Failed to connect to xxx7337

Unable to register with external shuffle server due to Failed to connect to xxx7337

2023-08-15 22:27:01 453

原创 Structured Streaming简介

Structured Streaming简介

2023-03-21 11:04:28 803

原创 Linux系统中负载高问题排查思路与解决方法

Linux系统中负载高问题排查思路与解决方法

2023-03-07 09:21:12 4340

原创 Spark on hive & Hive on spark

Spark on hive & Hive on spark

2023-02-15 10:50:42 769

原创 DataFrame与Spark SQL的由来

DataFrame与Spark SQL的由来

2023-02-09 17:13:52 340

原创使用Kube-prometheus部署Prometheus (K8S)

使用Kube-prometheus部署Prometheus (K8S)

2022-11-03 17:11:57 570

原创四、HBase读写流程及Coprocessor

HBase读写流程及Coprocessor

2022-07-04 12:04:07 389

原创 HBase BulkLoad批量导数

HBase Bulk Load 批量导数

2022-06-14 12:13:42 209

原创三、HBase RegionServer介绍 HLog、MemStore、BlockCache

HBase RegionServer介绍 HLog、MemStore、BlockCache

2022-05-17 20:48:48 1170

原创二、HBase的核心数据结构跳跃表、LSM树、布隆过滤器

二、HBase的核心数据结构跳跃表、LSM树、布隆过滤器

2022-04-29 12:01:19 2433

原创一、Hbase介绍、数据模型、体系结构

一、Hbase介绍、数据模型、体系结构

2022-04-24 21:00:00 5631

原创 Grafana页面嵌入及隐藏左侧边栏和顶部菜单栏

Grafana页面嵌入及隐藏左侧边栏和顶部菜单栏

2022-04-14 20:00:00 5599

原创 Pyspark on Yarn解决pythony依赖问题及pyspark设置python3

Pyspark on Yarn解决pythony依赖问题

2022-04-08 20:00:00 2958

原创 ansible使用用户密码远程执行命令

ansible使用用户密码远程执行命令

2022-03-23 21:15:00 6005

文章目录Chandy-Lamport分布式快照算法Distributed SnapshotThe Chandy-Lamport AlgorithmExampleChandy-Lamport分布式快照算法Distributed Snapshot分布式快照：特定时间点记录下来的分布式系统的全局状态（global state）。分布式快照主要用途：故障恢复（即检查点）、死锁检测、垃圾收集等。将分布式系统抽象为一张有向图：顶点称为进程（process），边称为channel。下图就示出包含3个进程和4个c

2022-01-26 21:00:00 2056

空空如也

空空如也