自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

松子-招财猫的博客

数据仓库开发程序员,随手记录认为重要的知识点

  • 博客(8)
  • 收藏
  • 关注

原创 数据仓库维度表与事实表

数据仓库维度表与事实表数据仓库目前主要作用还是商业智能决策,而维度建模是数仓数据分析最常用的建模方法,建模当中维度表和事实表是不可或缺的重要组成部分,维度表是记录实体属性的表,是数据分析的主要对象,事实表记录事实数据,提供分析对象的度量值。维度表是存储分析对象属性数据的表,作为分析对象如果数据出现问题,很可能导致下游一系列分析数据出现问题,故而维度表的数据标准化和准确度要求很高,接下来才是本...

2020-03-30 17:45:25 1114

原创 hive SQL语句执行过程

hive SQL语句执行过程背景了解:hive数仓数据存储于Hadoop大数据框架的HDFS文件系统中,以文件的方式存储,hive是建立在Hadoop之上的数仓工具,hive将文件数据映射成结构性数据-表。了解hive SQL语句:hive SQL语句是在hive上执行的类SQL语句,可以通过hive将hive SQL语句转换成MapReduce程序操作数据,而不必开发专门的应用程序。示...

2020-01-09 17:44:28 1382

原创 数据仓库的分区与分桶

数据仓库的分区与分桶分区解释:将数据仓库内存储数据量大的表,按表中列值进行切片,列值一样的数据划分到一起,列值分类有多少种就至少有这么多的分区目录。如:某电商公司订单表按天分区,按订单表的下单时间在同一天的数据划分到一个目录中。分桶解释:将数据仓库内存储数据量大的表,按表中列值的hash值对想划分的桶数取模,值一样活着同样在某些范围内的数据划分到一起,划分桶数有多少就有多少分桶目录。如:某电商公司订单表按天分区下再按订单号分桶,按订单表的下单时间在同一天的数据划分到一个目录中,再将数据按订单号进行has

2020-05-20 14:27:35 1972

原创 大数据平台去重指标

大数据平台去重指标在使用内存计算的任务中,去重指标都资源消耗是非常高的,因为去重指标会将明细数据和中间缓存结果数据以及逻辑计算放到内存中,所以很容带来资源消耗过高的情况,所以当去重数据量非常庞大到内存不够的情况下该怎么办呢?有两种办法:精确去重、模糊去重 精确去重:明细数据必须保存下来,按数据倾斜的方法处理,将一个单个节点的压力分摊到多个节点上。模糊去重:数据量很大,业务要求精度不高,可以使用相关算法(布隆过滤器、技术估计),降低内存使用量,提高内存使用率。...

2020-05-18 16:44:02 554

原创 帆软报表-控件范围筛选

帆软报表-控件范围筛选背景:了解报表的人都晓得报表的正文展示前一般都有一些筛选控件,以供筛选出想要的数据,但是往往有用户在使用的时候查询数据量很大,导致报表服务器出现内存不足等问题出现,为了规避这种情况出现,限制用户对报表控件的筛选时一种方法。举例:日期控件范围筛选...

2020-01-15 14:51:02 4738 2

原创 hive中distribute by、sort by、cluster by的区别

hive中distribute by、sort by、cluster by的区别1.distribute by + sort by 组合使用实验表hive> select * from test1;OK19 1 FLUSH18 1 CACHE17 1 PROCEDURE16 1 ANALYSE15 1 HELP14 1 VALUE13 1 SERIAL12 1 DEF...

2020-01-14 18:34:27 337

原创 数据仓库维度建模

数据仓库维度建模数据仓库作用:将不同数据资源整合,为企业决策提供数据支撑。维度建模:顾名思义就是以不同维度的角度分析数据而建立的数据模型。模型层级概览:红色框框内为数据仓库基础层级划分stg(缓冲层):将接入的不同类型的源数据清晰、转换等处理后存储于表中。dim(维度层):从缓冲层中获取数据,整合分析数据需要的维度信息存储于表中。ods(数据仓库层):将同业务链上的业务数据整合成适合...

2020-01-08 15:47:15 245

原创 Oracle keep函数讲解

暂时为空

2020-01-08 14:24:12 1093

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除