5 架构设计
文章平均质量分 87
架构设计和数据中台相关
linmoo1986
这个作者很懒,什么都没留下…
展开
-
稳定性建设落地实践
可参考第4部分指标,当然那只是整体的指标,后续的落地一些事项也要定义指标与之关联。举个例子,比如以数据库为例,可以定义一个100分制的健康指标,可根据数据库的CPU、内存、慢SQL、警告、大表个数等综合得分,然后将改100分制的健康指标作为稳定性建设的一项子指标,当出现不健康比如设定80分以下,则警告,60分以下则为不稳定。原创 2023-03-20 21:06:47 · 370 阅读 · 0 评论 -
数据中台建设方法论-4 实践
讲完基本一些理论内容,下面可以讲一下实践过程的一些经验,下面以实施实现过程中,讲一下实践过程中一些难点。原创 2023-03-17 15:05:44 · 441 阅读 · 0 评论 -
数据中台建设方法论-3 子系统
通过前2篇对数据中台的架构和业务的了解,那么我们建设一个数据中台需要哪些子系统或者组件来完成。原创 2023-03-16 17:13:54 · 434 阅读 · 0 评论 -
数据中台建设方法论-2 业务难点
上一篇我们画了数据中台整体架构以及其中关键点的一些技术(数据采集、数据存储、数据开发、DataOps等),这一篇我们来说一下数据中台中的业务难点。原创 2023-03-16 16:56:15 · 544 阅读 · 0 评论 -
数据中台建设方法论-1 架构
包括内容是基于云原生的容器管理,包括数据存储、计算引擎、同步工具、定时任务调度等等,它是构建上层平台及应用的基础。:包括数据探索、数据采集、数据开发、数据治理、数据服务等,使用到基础设施中的计算引擎、定时任务与调度等。:元数据、血缘管理、搜索引擎、资产管理等。:用于汇聚业务采集过来的数据,需要兼容各个类型的数据,存储原始数据ODS;包括关系型、大数据、MPP、图数据、时序数据等等,使用到基础设施中的存储等。原创 2023-03-15 17:14:45 · 481 阅读 · 0 评论 -
分布式定时任务调度框架
分布式定时任务框架的对比原创 2022-09-17 10:44:02 · 8120 阅读 · 0 评论 -
分布式锁和分布式事务协议学习笔记
分布式锁和分布式事务协议学习笔记1. 分布式锁1.1 概念与要求1.2 方法1.2.1 基于数据库实现分布式锁1.2.1.1 基于表记录实现1.2.1.2 基于数据库排它锁1.2.2 基于缓存实现分布式锁1.2.3 基于Zookeeper实现分布式锁1.2.3.1 概念1.2.3.2 解决问题1.2.3.3 缺点1.3 比较2. 分布式事务协议2.1 两阶段提交协议2.2 Paxos协议1. 分.........原创 2019-07-08 11:18:24 · 315 阅读 · 0 评论