![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据开发
hello_hsl
热爱技术
展开
-
Hive企业应用
一. 数据仓库架构设计 数据仓库的主要工作就是 ETL,即是英文 Extract-Transform-Load 的缩写,用来描述数据从来源端经过装载(load)、抽取(extract)、转换(transform)至目的端的过程。数据仓库架构设计,即为公司针对自身业务场景实现的水平分层、垂直分主题的数据仓库构建过程的顶层设计。 数据架构 架构原则:先水平分层,再垂直分主题域。 数据架构分三...原创 2019-11-11 17:04:13 · 451 阅读 · 0 评论 -
Yarn的一些整理
、 Yarn 架构设计 1、架构设计图 Yarn 设计的核心思想是将 JobTracker 的两个主要职责:资源管理和任务调度管理,分别交给两 个角色负责。 一个是全局的 ResourceManager,一个是每个应用中唯一的 ApplicationMaster。 ResourceManager 以及每个节点一个的 NodeManager 构成了新的通用系统,实现以分布式方式管 理应用。 2、基本...原创 2019-07-25 21:40:24 · 349 阅读 · 0 评论