分布式
文章平均质量分 62
mmmmPccPcc
学习技术
展开
-
Hudi on Flink 同步Hive集群运行报错,缺少HiveConf
Hudi on Flink sync Hive 实践代码结构def getHudiTableDDL(importConfig: ImportConfig): String = { s""" | CREATE TABLE ${importConfig.sinkDatabase}.${importConfig.sinkTableName} ( ${importConfig.sinkFields} ) | ${if (importConfig.isParti原创 2022-04-19 14:18:39 · 2508 阅读 · 0 评论 -
Kafka Stream
简单看看KafkaSteam的KStream源码原创 2021-12-20 16:11:34 · 895 阅读 · 0 评论 -
转载:VirtualBox VM process: 5 解决方案
这个问题困扰了我一个星期 最后终于在一个好兄弟的博客里面找到了解决方法 太顶了啊系统:win10问题描述:初始报错:VirtualBox – Error in supR3HardenedWiReSpawnError relaunching VirtualBox VM process: 5supR3HardenedWinReSpawn what: 5 VERR_INVALID_NAME (-104) -Invalid (malformed) file/path name.点确定后就是“不转载 2021-10-19 16:55:56 · 6172 阅读 · 9 评论 -
Paxos算法学习总结
共识算法系列:Paxos/Multi-Paxos算法关键点综述、优缺点总结 - 知乎 (zhihu.com)Paxos算法Paxos算法是莱斯利·兰伯特(英语:Leslie Lamport,LaTeX中的“La”)于1990年提出的一种基于消息传递且具有高度容错特性的共识(consensus)算法。需要注意的是,Paxos常被误称为“一致性算法”。但是“一致性(consistency)”和“共识(consensus)”并不是同一个概念。Paxos是一个共识(consensus)算法[1]。P.原创 2021-10-18 16:36:37 · 227 阅读 · 0 评论 -
在学习GRPC时的负载均衡
在学习gRPC课程的时候谈到了,负载均衡,大概分为两个部分:服务端和客户端接触最多的是Web程序大多用的服务端方式,大数据或者分布式领域一般用客户端方式客户端可以避免单点问题,减少请求IO的次数,符合大数据场景。...原创 2021-10-13 10:31:41 · 96 阅读 · 0 评论 -
分布式存储系统-Ceph简单分析
1.1Ceph分布式存储系统分析Ceph是一个统一的分布式存储系统,可同时提供块、文件和对象3种接口的存储服务。与传统的分布式存储系统不同,它采用了无中心节点的元数据管理方式,因此具有良好的扩展性和线性增长的性能。经过十余年的发展,Ceph已被广泛地应用于云计算和大数据存储系统。1.1 Ceph分布式存储系统关键技术分析1.1.1 CRUSH算法分析存储系统的数据分布算法要解决数据如何分布到各个节点的问题,随着大规模分布式存储系统(PB级的数据和成百上千台存储设备)的出现,数据分布算法...原创 2021-10-08 19:01:59 · 590 阅读 · 0 评论 -
并发系统的专业术语解释---基于Akka官网等
Terminology, Concepts(说明)In this chapter we attempt to establish a common terminology to define a solid ground for communicating about concurrent, distributed systems which Akka targets. Please note that, for many of these terms, there is no single agree原创 2021-08-27 14:56:42 · 158 阅读 · 0 评论