Hadoop入门

MapReduce现在只是在HDFS之上处理Hive的一种方式。 MapReduce是一种传统的面向批量任务的处理框架 借助机架感知想HDFS写入块: 最后一次写入是为了减少网络流量,因为在一个机架内的节点之间进行IO通信要比在不同机架的节点之间快得多。 ...

2019-04-14 10:22:06

阅读数 62

评论数 0

数据管理之计算管理

系统优化 在任务稳定的情况下,可以考虑基于任务的历史执行情况进行资源评估, 即采用HBO (History-Based Optimiz町, 基于历史的优化器)。 CBO (Cost-Based Optimizer , 基于代价的优化器),首先会想到 Oracle 的 CBO 。 Oracle 会根...

2019-04-03 22:43:01

阅读数 67

评论数 0

物联网专业名词

MQTT介绍与使用:https://www.cnblogs.com/sxkgeek/p/9140180.html MQTT协议 MQTT(Message Queue Telemetry Transport) 遥测传输协议,其主要提供了订阅/发布两种消息模式,更为简约、轻量,易于使用,特别适合于受限...

2019-04-03 22:42:37

阅读数 6090

评论数 0

数据管理之元数据

元数据概述 元数据定义 按照传统的定义,元数据( Metadata )是关于数据的数据。 元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。 将元数据按用途的不同分为两类...

2019-03-31 09:59:54

阅读数 51

评论数 0

维度建模的事实表设计

事实表基础 事实表特性 事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。 事实表中一条记录所表达的业务细节程度被称为粒度。 通常粒度可以通过两种方式来表述:一种是维度属性组合所表示的细节程度:一种是所表示...

2019-03-29 09:32:35

阅读数 65

评论数 0

关系型数据库增量数据同步调研

业务需求: 需要将Mysql,sqlServer两种数据库的增量数据进行同步。 调研工具 主要调研Flume、Sqoop、Canal三种数据同步工具。 工具的优缺点 Flume 优点:○1利用Flume采集关系数据库表数据最大的优点是配置简单,不用编程; ○2再有该方案采用普通SQL轮询的方式实...

2019-03-15 16:01:48

阅读数 66

评论数 0

Sqoop数据迁移

学习地址:https://www.cnblogs.com/qingyunzong/p/8807252.html#_label0 1.概述 sqoop 是 apache 旗下一款“Hadoop 和关系数据库服务器之间传送数据”的工具。 导入数据:MySQL,Oracle 导入数据到 Hadoop 的...

2019-03-14 18:30:01

阅读数 35

评论数 0

EI企业智能

名词解释 EI:(Enterprise Intelligence)企业智能 DIS: (Data Interface Service)数据接入服务 CDM:(Cloud Data Migration)云数据迁移 MRS: (MapReduce Service) 大数据集群云服务 DLI: (...

2019-03-13 18:31:31

阅读数 58

评论数 0

Hadoop&HDFS&YARN&MR原理

Hadoop&HDFS&YARN&MR原理@TOC 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。...

2019-01-22 16:41:54

阅读数 81

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭