Hive实战
大数据金猫
分享交流大数据相关的技术,分享java技术
展开
-
物联网专业名词
MQTT介绍与使用:https://www.cnblogs.com/sxkgeek/p/9140180.htmlMQTT协议MQTT(Message Queue Telemetry Transport) 遥测传输协议,其主要提供了订阅/发布两种消息模式,更为简约、轻量,易于使用,特别适合于受限环境(带宽低、网络延迟高、网络通信不稳定)的消息分发,属于物联网(Internet of Thing)...原创 2019-04-03 22:42:37 · 9684 阅读 · 0 评论 -
数据管理之计算管理
系统优化在任务稳定的情况下,可以考虑基于任务的历史执行情况进行资源评估, 即采用HBO (History-Based Optimiz町, 基于历史的优化器)。CBO (Cost-Based Optimizer , 基于代价的优化器),首先会想到 Oracle 的 CBO 。 Oracle 会根据收集到的表、分区、索引等统计信息来计算每种执行方式的代价( Cost ),进而选择其中最优的执行方式...原创 2019-04-03 22:43:01 · 676 阅读 · 0 评论 -
数据管理之元数据
元数据概述元数据定义按照传统的定义,元数据( Metadata )是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及 ETL 的任务运行状态。将元数据按用途的不同分为两类:技术元数据( Technical Metadata)和业务元数据( Business Metada...原创 2019-03-31 09:59:54 · 520 阅读 · 0 评论 -
维度建模的事实表设计
事实表基础事实表特性事实表作为数据仓库维度建模的核心,紧紧围绕着业务过程来设计,通过获取描述业务过程的度量来表达业务过程,包含了引用的维度和与业务过程有关的度量。事实表中一条记录所表达的业务细节程度被称为粒度。通常粒度可以通过两种方式来表述:一种是维度属性组合所表示的细节程度:一种是所表示的具体业务含义。作为度量业务过程的事实(事实表属性),一般为整型或浮点型的十进制数值,有可加性、半可...原创 2019-03-29 09:32:35 · 3489 阅读 · 0 评论 -
HDFS机架感知原理
MapReduce现在只是在HDFS之上处理Hive的一种方式。 MapReduce是一种传统的面向批量任务的处理框架借助机架感知想HDFS写入块:最后一次写入是为了减少网络流量,因为在一个机架内的节点之间进行IO通信要比在不同机架的节点之间快得多。...原创 2019-04-14 10:22:06 · 450 阅读 · 0 评论