Hive
文章平均质量分 92
mango_song
专注大数据处理技术
展开
-
Hive 0.10 支持cube rollup
从hive 0.10版本开始,Hive支持group by rollup and cube。https://issues.apache.org/jira/browse/HIVE-3433 1. rollup和cube区别:(来自oracle)Oracle的GROUP BY语句除了最基本的语法外,还支持ROLLUP和CUBE语句。如果是Group by ROLLUP(A, B,转载 2013-07-30 15:26:45 · 1037 阅读 · 0 评论 -
Hive安装配置笔记
1 . 首先请安装好MySQL并修改root账户密码 GRANT ALL PRIVILEGES ON *.* TO 'root'@'localhost' IDENTIFIED BY 'root' WITH GRANT OPTION; GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.81.251' IDENTIFIE转载 2013-07-28 12:57:18 · 1500 阅读 · 0 评论 -
hive 资料汇总
hive基本wikiFaceBook 镜像(被墙):http://mirror.facebook.com/facebook/hiveWiki 页面:http://wiki.apache.org/hadoop/Hive入门指南:http://wiki.apache.org/hadoop/Hive/GettingStarted查询语言指南:http://wiki.apa原创 2013-09-22 13:12:45 · 1490 阅读 · 1 评论 -
Hive 元数据解析
本文是笔者初步整理的Hive元数据表,有不准确的地方请轻拍,后续我会补充.1. Hive 0.11 元数据表汇总线上Hive 0.11 metastore包括下述39个表,主要分为以下几类 : Database相关 Table相关 数据存储相关SDS COLUMN相关 SERDE相关(序列化) Partition相关(分区) SKE原创 2013-11-06 10:20:16 · 6449 阅读 · 2 评论 -
Hive serde 序列化表例子
1. 概述一个文本f1.txt的格式如下:1 tom2 jame3 mango它的第一列是id,第二列是name,第一列和第二列间通过不固定长度的空白(如空格 制表符等)分割;我们希望创建一个user表,能够识别f1.txt ,通过创建表时执行分隔符的方法就不行了,这就需要用到hive的序列化(SerDe)了。2.原创 2013-10-10 12:34:44 · 2572 阅读 · 0 评论 -
HiveSQL解析过程详解
Hive是基于Hadoop的一个数据仓库系统,在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建,每天执行近万次的Hive ETL计算流程,负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中,我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力,在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有转载 2014-06-17 11:16:49 · 3798 阅读 · 2 评论