数仓
日月交辉
这个作者很懒,什么都没留下…
展开
-
DB和DW对比
DW和DB对比 DB DW 相同点 概念 是一种逻辑概念,通过数据库软件来实现存放数据的一个地方。 由很多表组成,表是二维的,一张表里可以有很多字段。 从逻辑上讲,和DB没有区别,都是通过数据库软件来实现存放数据的一个地方。 不同点 ...原创 2021-11-21 21:16:11 · 3122 阅读 · 0 评论 -
hive数仓——数据采集
目录前言前言原创 2021-05-12 22:18:52 · 324 阅读 · 0 评论 -
数仓整体知识
目录一、数据仓库岗位1. 架构师2. 建模工程师3. ETL开发工程师4. BI工程师大数据的相关系统?数仓设计中心数据资产中心数据质量中心指标系统数据地图一、数据仓库岗位在数仓这个领域大概有这么几类岗位:1. 架构师做整个数仓项目顶层架构设计的人,包括制定数仓实施方案、规划实施路线、工具选型等,需要具有专业的理论知识和行业经验,就是要既懂技术又懂业务。2. 建模工程师对技术基础,熟悉数仓的几种建模理论,掌握一些数仓建模工具,同时也对业务有一定理解的人,通常的工作就是分析业务、分析需求,创建各类原创 2021-05-12 22:17:20 · 172 阅读 · 0 评论 -
Hive函数面试高频考点
目录行转列列转行排序函数日期函数四个By区别窗口函数/开窗函数行转列collect_set() --行转列,去重。不同行转为一个集合,可按序号取值collect_list() --行转列,不去重。concat()concat_ws()列转行explode (array):返回多行array中对应的元素。如explode(array('A','B','C'))explode(map):返回多行map键值对对应元素。如explode(map(1,'A.原创 2020-11-29 22:35:59 · 141 阅读 · 0 评论 -
离线数仓——T+1处理数据
离线数仓(基于Hadoop体系)数仓建模 数仓为什么建模? 数仓建模发展 数仓建模理论有哪些? 你是怎么建模的?数仓分层 数仓分层思想云上离线数仓(阿里云)整体架构 数据源=>DTS同步数据=>DataWork(底层是MaxCompute)=>DB...原创 2020-11-28 22:10:11 · 3569 阅读 · 1 评论 -
ADS层
按照主题出报表设备主题会员主题商品主题营销主题报表数据来源dwd、dws。数据用默认格式存储,不做压缩。还有哪些主题?划分主题就是你要分析哪个大块,粗粒度。目的:可以更好地分类,有整体概念。例如:地区主题、活动主题、优惠券主题等等。...原创 2020-11-25 21:29:39 · 1338 阅读 · 0 评论