![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
数据分析小Y
学习BI、数据仓库、数据分析、机器学习。
毕业4年,从应届生到BI数据分析师老油条,不定期将过去自己求职积累经验和数据分析学习相关的一些笔记分享给大家,对互联网数据分析、机器学习有兴趣的朋友也可以关注我的工重号:python数据分析和机器学习,专注BI、数据分析和机器学习的学习和实践
展开
-
informatica的Filter组件学习笔记,mark一下
Filter组件概述转换类型:已连接、主动 过滤器转换允许您过滤映射中的行。通过过滤器转换从源转换传递所有的行,然后为转换输入过滤条件。所有过滤器转换中的端口均为输入/输出端口,只有符合条件的行才能通过过滤器转换。 在某些情况下,数据写入目标前需要基于一个或多个条件对其进行过滤。例如,如果您有包含关于当前员工信息的人力资源目标,可能希望过滤出兼职员工和钟点工。 下面的映射通过过滤器转换从包含员工数据的人力资源表传递行。过滤器仅允许薪水为 $3...原创 2020-10-19 23:01:14 · 779 阅读 · 0 评论 -
[数据仓库建模] 事实表的类型(可加,半可加,不可加)
众所周知,数据仓库的事实表中是有数字度量的,一般会根据这些数据度量以及提前规定好的一致性维度来进行统计等工作。那么事实表中的数组度量分三种:1.可加事实,2.半可加事实,3.不可加事实下面让我们来看看它们的定义与区别1.可加事实可加事实指的是该度量可以按照和事实表关联的任一维度进行汇总。比如商品的单价,可以按照品类维度进行汇总,按照店铺维度进行汇总等等。2.半可加事实指的就是该度量在某些维度下不可进行汇总,或者说汇总起来没有意义,比如说价差额,价差额在时间维度下的汇总就没有意义。记录静态数据(原创 2020-09-10 23:26:52 · 1630 阅读 · 0 评论 -
数据仓库学习笔记:数据仓库增量抽取(CDC)有哪些方式?
抽取处理需要重点考虑增量抽取,也被称为变化数据捕获,简称CDC。假设一个数据仓库系统,在每天夜里的业务低峰时间从操作型源系统抽取数据,那么增量抽取只需要过去24小时内发生变化的数据。变化数据捕获也是建立准实时数据仓库的关键技术。CDC能够帮助你识别从上次提取之后发生变化的数据。常用的变化数据捕获方法有时间戳、快照、触发器和日志四种。时间戳方法需要源系统有相应的数据列表示最后的数据变化。(弱点...原创 2020-05-07 13:10:32 · 3170 阅读 · 0 评论 -
数据仓库工程师面试题目(不定期更新)
1 缓慢变化维的设计?(真心常问,标准答案必备)三种:直接覆盖,增加新行,增加心属性列Type 1:覆盖:直接用新值代替旧值。Type 2:增加新行。将当前行的状态设置为off,并设置一个endtime时间戳,将当前时间标记上。同时新增1行,将其状态标记为on,设置begintime时间戳为上一个记录的endtime+1。Type 3:增加新列:给表增加一个新列,来存储新值,同时保留原来...原创 2020-04-30 00:08:53 · 10147 阅读 · 0 评论 -
来几道面试遇到的sql笔试题测测你的水平吧 |大数据分析师面试必备
面试遇到的sql笔试题目,共享给大家,如果是数据分析或者数据开发岗位,对sql一般都需要掌握,以下问题,最好能再hive,mysql或者oracle场景下都 实现下,熟悉巩固各个数据库的语法。1.A 和B 两张表,A中有B表的外键,B表中有A表中的外键,求A表中,B表中没有的数据行,B表中,A表没有的数据行。select * from a where not exists (select 1 ...原创 2019-06-29 10:31:44 · 1288 阅读 · 0 评论 -
Kettle工具下的ETL优化思路 | 数据仓库面试
1、首先找到瓶颈(重现问题;日志)要知道你的性能瓶颈在哪,可能有时候你使用了不恰当的方式,导致整个操作都变慢,观察kettle log 生成的方式来了解你的ETL操作最慢的地方。2、排查方向:(1)源->(2)目标->(3)转换顺序一步一步进行优化。源:对读操作的优化读数据量大–>大数据优化?尽量缩小输入的数据集的大小(增量更新也是为了这个目的)没有索引目标:对写操...原创 2020-03-12 00:29:19 · 1769 阅读 · 0 评论 -
面试问题准备-数据仓库建模篇
1. 什么叫数据仓库?数据仓库的特点?(相信inmon的数据仓库概念的四个特点是最基本的吧,当然需要加上自己的理解)首先,用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据,而且存放在数据仓库中的数据一般不再修改。数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate...原创 2019-04-06 23:26:51 · 26076 阅读 · 4 评论