- 博客(5)
- 收藏
- 关注
RSS订阅原创 数据管理之元数据
元数据概述元数据定义按照传统的定义，元数据（ Metadata ）是关于数据的数据。元数据打通了源数据、数据仓库、数据应用，记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。将元数据按用途的不同分为两类：技术元数据（ Technical Metadata)和业务元数据（ Business Metada...
2019-03-31 09:59:54
530
原创 维度建模的事实表设计
事实表基础事实表特性事实表作为数据仓库维度建模的核心，紧紧围绕着业务过程来设计，通过获取描述业务过程的度量来表达业务过程，包含了引用的维度和与业务过程有关的度量。事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述：一种是维度属性组合所表示的细节程度：一种是所表示的具体业务含义。作为度量业务过程的事实（事实表属性），一般为整型或浮点型的十进制数值，有可加性、半可...
2019-03-29 09:32:35
3504
原创 关系型数据库增量数据同步调研
业务需求：需要将Mysql,sqlServer两种数据库的增量数据进行同步。调研工具主要调研Flume、Sqoop、Canal三种数据同步工具。工具的优缺点Flume优点：○1利用Flume采集关系数据库表数据最大的优点是配置简单，不用编程;○2再有该方案采用普通SQL轮询的方式实现，具有通用性，适用于所有关系库数据源。缺点：○1在源库上执行了查询，具有入侵性;○2通过轮询的方...
2019-03-15 16:01:48
735
转载 Sqoop数据迁移
学习地址：https://www.cnblogs.com/qingyunzong/p/8807252.html#_label01.概述sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。导入数据：MySQL，Oracle 导入数据到 Hadoop 的 HDFS、HIVE、HBASE 等数据存储系统导出数据：从 Hadoop 的文件系统中导出数据到关...
2019-03-14 18:30:01
207
原创 EI企业智能
名词解释EI：（Enterprise Intelligence）企业智能DIS: (Data Interface Service)数据接入服务CDM：（Cloud Data Migration）云数据迁移MRS: (MapReduce Service) 大数据集群云服务DLI: （Data Lake Insight）数据湖探索CloudTable： 表格存储服务DWS：(Dat...
2019-03-13 18:31:31
463
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人