![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
__4.2 - Data Engineering
文章平均质量分 86
汐雪池间
计算机科学与技术 -> 数据科学与工程 -> 大数据工程师
展开
-
数据仓库即服务概述
本文参考 Google 的 Site Reliability Engineering[6],通过阐述数据仓库服务的服务目标 (SLO),初步定义了数据仓库即服务(Data Warehouse as a Service)这一概念,并举例介绍了为达到不同目标可以采取的服务评估和改善措施。.........原创 2022-06-24 17:40:36 · 521 阅读 · 0 评论 -
分布式系统与 Google 早期的三篇论文
相信许多对大数据感兴趣的人都听说过 Google 在十年前发表的三项重要成果: Google File System、 MapReduce 和 Bigtable 。Google 在这些成果中,介绍了其利用通用计算设备成功搭建分布式集群的方法。其中的诸多设计思想,在后来被广泛采用。为什么要设计这些系统?这些系统都有什么用处?这些系统在实现上有哪些特点?对后来的系统设计有哪些启发意义?本文通过提出并回答一系列问题,介绍目前流行的大数据技术的核心设计理念和技术实现。原创 2019-11-10 21:59:48 · 1663 阅读 · 2 评论 -
DataX 运行时加载自定义 transformer 插件
如何让 DataX 运行时加载自定义 transformer 插件早该知道的一种更高级的 transformer 自定义方法。前言之前的文章有介绍过通过自定义 transformer 在 DataX 上实现 ETL(Extract Transform Load) 过程中定制化的数据处理,当时的实现方法是自定义插件并手写代码注册到com/alibaba/datax/core/transport...原创 2019-03-28 21:07:55 · 7487 阅读 · 6 评论