数据仓库
邓禹
起风了
展开
-
简单数据仓库知识点总结(2)
收集Flume收集Flume使用的各个组件使用TailDir Source因为他可以实现断点续传功能,在flume1.6中我们则需要自定义source实现断点续传使用Kafka Channel因为使用它省略了sink阶段提高了很多效率,使数据直接通到kafka中在flume中要自定义两个拦截器在数据传输第一层进行初步过滤脏数据和不符合我们规则的数据和将数据分成类型发给不同的topic...原创 2019-11-09 12:27:27 · 134 阅读 · 0 评论 -
简单数据仓库知识点总结(1)
数据仓库概念数据仓库(Data Warehouse)简称DW或DWH,是数据库的一种概念上的升级,可以说是为满足新需求设计的一种新数据库,而这个数据库是需容纳更多的数据,更加庞大的数据集。是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它是单个数据存储,出于分析性报告和决策支持目的而创建。 为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。搭建数据仓...原创 2019-11-09 10:04:58 · 320 阅读 · 0 评论