Shyllin-CSDN博客

Coordinator协调器：用于接受用户查询并管理工作节点以执行查询工作。Worker工作节点：负责执行任务和处理数据。协调器上通常会运行一个节点发现服务（discovery service），工作节点通过注册到此服务以加入集群。客户端、协调器和工作节点之间的通信和数据传输完全通过基于 HTTP/HTTPS 的 RESTful API 调用。

2023-08-22 22:58:02 475

原创 Unable to register with external shuffle server due to Failed to connect to xxx7337

Unable to register with external shuffle server due to Failed to connect to xxx7337

2023-08-15 22:27:01 738

原创 Structured Streaming简介

Structured Streaming简介

2023-03-21 11:04:28 990

原创 Linux系统中负载高问题排查思路与解决方法

Linux系统中负载高问题排查思路与解决方法

2023-03-07 09:21:12 4958

原创 Spark on hive & Hive on spark

Spark on hive & Hive on spark

2023-02-15 10:50:42 833

原创 DataFrame与Spark SQL的由来

DataFrame与Spark SQL的由来

2023-02-09 17:13:52 378

原创使用Kube-prometheus部署Prometheus (K8S)

使用Kube-prometheus部署Prometheus (K8S)

2022-11-03 17:11:57 711

原创四、HBase读写流程及Coprocessor

HBase读写流程及Coprocessor

2022-07-04 12:04:07 431

原创 HBase BulkLoad批量导数

HBase Bulk Load 批量导数

2022-06-14 12:13:42 267

原创三、HBase RegionServer介绍 HLog、MemStore、BlockCache

HBase RegionServer介绍 HLog、MemStore、BlockCache

2022-05-17 20:48:48 1266

原创二、HBase的核心数据结构跳跃表、LSM树、布隆过滤器

二、HBase的核心数据结构跳跃表、LSM树、布隆过滤器

2022-04-29 12:01:19 2645

原创一、Hbase介绍、数据模型、体系结构

一、Hbase介绍、数据模型、体系结构

2022-04-24 21:00:00 6264

原创 Grafana页面嵌入及隐藏左侧边栏和顶部菜单栏

Grafana页面嵌入及隐藏左侧边栏和顶部菜单栏

2022-04-14 20:00:00 6724

原创 Pyspark on Yarn解决pythony依赖问题及pyspark设置python3

Pyspark on Yarn解决pythony依赖问题

2022-04-08 20:00:00 3092

原创 ansible使用用户密码远程执行命令

ansible使用用户密码远程执行命令

2022-03-23 21:15:00 6547

文章目录Chandy-Lamport分布式快照算法Distributed SnapshotThe Chandy-Lamport AlgorithmExampleChandy-Lamport分布式快照算法Distributed Snapshot分布式快照：特定时间点记录下来的分布式系统的全局状态（global state）。分布式快照主要用途：故障恢复（即检查点）、死锁检测、垃圾收集等。将分布式系统抽象为一张有向图：顶点称为进程（process），边称为channel。下图就示出包含3个进程和4个c

2022-01-26 21:00:00 2191

原创 Flink学习安装部署、任务提交

Flink学习安装部署、任务提交

2020-07-09 16:51:54 715 1

原创 PySpark读取Hive、写入Mysql、集成Kafka

PySpark读取Hive、写入Mysql、集成Kafka

2020-06-24 14:02:15 582

空空如也

空空如也