数仓
Smile_Tom&
这个作者很懒,什么都没留下…
展开
-
数仓ODS,DWD,DWS层
数据仓库中的数据表,往往是分层管理、分层计算的;所谓分层,具体来说,就是将大量的数据表按照一定规则和定义来进行逻辑划分;ADS层: 应用服务层 DWS层:数仓汇总层 DWD层:数仓明细层 ODS层:操作数据(最原始的数据)层 -- 贴源层 DIM层:存储维表ODS层:对应着外部数据源ETL到数仓体系之后的表!DWD层:数仓明细层;一般是对ODS层的表按主题进行加工和划分;本层中表记录的还是明细数据;DWS层:数仓汇总层;ADS层: 应用层,主要是一些结果报表!分层的意义:数原创 2020-09-04 16:29:58 · 13719 阅读 · 0 评论 -
集群环境搭建
HADOOP版本选择3.1.1ssh免密配置文件hadoop-env.sh core-site.xml hdfs-site.xml yarn-site.xml mapred-site.xml 编写workersname 启动脚本添加安全用户定义 /etc/profileexport JAVA_HOME=/opt/apps/jdk1.8.0_191/export HADOOP_HOME=/opt/apps/hadoop-3.1.1export PATH=$PATH:$JA原创 2020-08-31 22:24:40 · 311 阅读 · 0 评论 -
日志采集-flume
日志埋点原创 2020-08-30 23:53:52 · 610 阅读 · 0 评论