架构设计
123 黑曼巴
黑曼巴
展开
-
云原生特点
待完善原创 2021-07-29 23:57:27 · 194 阅读 · 0 评论 -
kubernete容器总结
1.基本概念原创 2021-02-28 21:51:51 · 97 阅读 · 0 评论 -
raft协议详解
【腾讯文档】Raft论文总结原文地址:https://docs.qq.com/doc/DY0VxSkVGWHFYSlZJhttps://zhuanlan.zhihu.com/p/91288179大名鼎鼎的Paxos算法可能不少人都听说过,几乎垄断了一致性算法领域,在Raft协议诞生之前,Paxos几乎成了一致性协议的代名词。但是对于大多数人来说,Paxos算法太难以理解了,而且难以实现。因此斯坦福大学的两位教授Diego Ongaro和John Ousterhout决定设计一种更容易理解的一致性算翻译 2021-01-02 23:25:35 · 295 阅读 · 0 评论 -
数仓中的星型模型和雪花模型
1.概念在多维分析的商业智能解决方案中,根据事实表和维度表的关系,又可将常见的数据模型分为星型模型和雪花型模型。在设计逻辑型数据的模型的时候,就应考虑数据是按照星型模型还是雪花型模型进行组织。当所有维表都直接连接到“ 事实表”上时,整个图解就像星星一样,故将该模型称为星型模型,星型架构是一种非正规化的结构,多维数据集的每一个维度都直接与事实表相连接,不存在渐变维度,所以数据有一定的冗余。如在地域维度表中,存在国家 A 省 B 的城市 C 以及国家 A 省 B 的城市 D 两条记录,那么国家 A 和转载 2020-09-19 12:23:10 · 1891 阅读 · 0 评论 -
Lamda和kappa架构
首先我们来看一个典型的互联网大数据平台的架构,如下图所示:在这张架构图中,大数据平台里面向用户的在线业务处理组件用褐色标示出来,这部分是属于互联网在线应用的部分,其他蓝色的部分属于大数据相关组件,使用开源大数据产品或者自己开发相关大数据组件。你可以看到,大数据平台由上到下,可分为三个部分:数据采集、数据处理、数据输出与展示。数据采集将应用程序产生的数据和日志等同步到大数据系统中,由于数据源不同,这里的数据同步系统实际上是多个相关系统的组合。数据库同步通常用 Sqoop,日志同步可以选择 Flume转载 2020-09-19 11:56:38 · 549 阅读 · 0 评论 -
数据中台
1.数据中台必备能力原创 2020-09-19 11:42:30 · 161 阅读 · 0 评论 -
CAP理论的理解
CAP原则又称CAP定理,指的是在一个分布式系统中,一致性(Consistency)、可用性(Availability)、分区容错性(Partition tolerance)。CAP 原则指的是,这三个要素最多只能同时实现两点,不可能三者兼顾。分区容错性:指的分布式系统中的某个节点或者网络分区出现了故障的时候,整个系统仍然能对外提供满足一致性和可用性的服务。也就是说部分故障不影响整体使用。事实上我们在设计分布式系统是都会考虑到bug,硬件,网络等各种原因造成的故障,所以即使部分节点或者网络出现故障,转载 2020-08-21 22:24:57 · 226 阅读 · 0 评论 -
DDD(领域驱动设计)
基本概念:领域驱动设计(简称 ddd)概念来源于2004年著名建模专家eric evans发表的他最具影响力的书籍:《domain-driven design –tackling complexity in the heart of software》(中文译名:领域驱动设计—软件核心复杂性应对之道)一书。,书中提出了“领域驱动设计(简称 ddd)”的概念。 领域驱动设计一般分为两个阶段: 1. 以一种领域专家、设计人员、开发人员都能理解的“通用语言”作为相互交流的工具,在不断交流转载 2020-08-21 21:41:39 · 991 阅读 · 0 评论