- 博客(8)
- 收藏
- 关注
RSS订阅
原创 数据仓库维度表与事实表
数据仓库维度表与事实表数据仓库目前主要作用还是商业智能决策，而维度建模是数仓数据分析最常用的建模方法，建模当中维度表和事实表是不可或缺的重要组成部分，维度表是记录实体属性的表，是数据分析的主要对象，事实表记录事实数据，提供分析对象的度量值。维度表是存储分析对象属性数据的表，作为分析对象如果数据出现问题，很可能导致下游一系列分析数据出现问题，故而维度表的数据标准化和准确度要求很高，接下来才是本...
2020-03-30 17:45:25
1116
原创 hive SQL语句执行过程
hive SQL语句执行过程背景了解：hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中，以文件的方式存储，hive是建立在Hadoop之上的数仓工具，hive将文件数据映射成结构性数据-表。了解hive SQL语句：hive SQL语句是在hive上执行的类SQL语句，可以通过hive将hive SQL语句转换成MapReduce程序操作数据，而不必开发专门的应用程序。示...
2020-01-09 17:44:28
1384
原创 数据仓库的分区与分桶
数据仓库的分区与分桶分区解释：将数据仓库内存储数据量大的表，按表中列值进行切片，列值一样的数据划分到一起，列值分类有多少种就至少有这么多的分区目录。如：某电商公司订单表按天分区，按订单表的下单时间在同一天的数据划分到一个目录中。分桶解释：将数据仓库内存储数据量大的表，按表中列值的hash值对想划分的桶数取模，值一样活着同样在某些范围内的数据划分到一起，划分桶数有多少就有多少分桶目录。如：某电商公司订单表按天分区下再按订单号分桶，按订单表的下单时间在同一天的数据划分到一个目录中,再将数据按订单号进行has
2020-05-20 14:27:35
1975
原创 大数据平台去重指标
大数据平台去重指标在使用内存计算的任务中，去重指标都资源消耗是非常高的，因为去重指标会将明细数据和中间缓存结果数据以及逻辑计算放到内存中，所以很容带来资源消耗过高的情况，所以当去重数据量非常庞大到内存不够的情况下该怎么办呢？有两种办法：精确去重、模糊去重 精确去重：明细数据必须保存下来，按数据倾斜的方法处理，将一个单个节点的压力分摊到多个节点上。模糊去重：数据量很大，业务要求精度不高，可以使用相关算法（布隆过滤器、技术估计），降低内存使用量，提高内存使用率。...
2020-05-18 16:44:02
554
原创 帆软报表-控件范围筛选
帆软报表-控件范围筛选背景：了解报表的人都晓得报表的正文展示前一般都有一些筛选控件，以供筛选出想要的数据，但是往往有用户在使用的时候查询数据量很大，导致报表服务器出现内存不足等问题出现，为了规避这种情况出现，限制用户对报表控件的筛选时一种方法。举例：日期控件范围筛选...
2020-01-15 14:51:02
4751
2
原创 hive中distribute by、sort by、cluster by的区别
hive中distribute by、sort by、cluster by的区别1.distribute by + sort by 组合使用实验表hive> select * from test1;OK19 1 FLUSH18 1 CACHE17 1 PROCEDURE16 1 ANALYSE15 1 HELP14 1 VALUE13 1 SERIAL12 1 DEF...
2020-01-14 18:34:27
337
原创 数据仓库维度建模
数据仓库维度建模数据仓库作用：将不同数据资源整合，为企业决策提供数据支撑。维度建模：顾名思义就是以不同维度的角度分析数据而建立的数据模型。模型层级概览：红色框框内为数据仓库基础层级划分stg（缓冲层）：将接入的不同类型的源数据清晰、转换等处理后存储于表中。dim（维度层）：从缓冲层中获取数据，整合分析数据需要的维度信息存储于表中。ods（数据仓库层）：将同业务链上的业务数据整合成适合...
2020-01-08 15:47:15
245
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人