极客神殿

Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL方言，来查询存储在Hadoop集群中的数据。Hive可以将大多数的查询转换为MapReduce任务。Hive最适合数据仓库应用程序。使用该应用程序进行相关的静态数据分析,不需要快速响应给出结果,且数据本身不会频繁变化。Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性的限制了Hive所能胜任的工作。

12.1 修改Log4J属性Hive使用$HIVE_HOME/conf目录下的2个Log4j配置文件来配置日志。hive-log4j.properties文件控制CLI和其他本地执行组件的日子。hive-exec-log4j.properties控制MapReduce tasks内的日志。使用hiveconf修改Hive日志级别$ bin/hive -hiveconf hive.root.logge

11.1 确定安装编解码器# hive -e "set io.compression.codecs" io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec

10.1 使用EXPLAINhive> DESCRIBE onecol; number inthive> SELECT * FROM onecol; 554hive> SELECT SUM(number) FROM onecol; 14 使用EXPLAIN hive> EXPLAIN SELECT SUM(number) FROM onecol; 10.2 EXPLAIN EXTENDE

9.1按天划分的表hive> CREATE TABLE supply_2011_01_02 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_03 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_04 (id i

Hive只有有限的索引功能。没有关系型数据库中键的概念。8.1 创建索引对如下管理分区表建立索引CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY<STRING>, deductions MAP<STRING, FLOAT>, address STRUCT<street:STRING, city:ST

视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM (SELECT * FROM people JOIN cartON (cart.people_id=people.id) WHERE firstname='john') a SELECT a.lastname WHERE a.id=3;创建视图CREATE V

视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM (SELECT * FROM people JOIN cartON (cart.people_id=people.id) WHERE firstname='john') a SELECT a.lastname WHERE a.id=3;创建视图CREATE V

6.1 select…from语句有如下表结构:CREATE TABLE employees (name STRING,salary FLOAT,subordinates ARRAY<STRING>,deductions MAP<STRING, FLOAT>,address STRUCT<street:STRING, city:STRING, state:STRING, zip:INT>

5.1 向管理表中装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees'OVERWRITE INTO TABLE employeesPARTITION (country = 'US', state = 'CA');在上述例子中,如果分区目录不存在的话,会先创建分区目录。然后再将数据拷贝到该目录下.如果目标表是非分区表，省略掉

3.1 基本数据类型TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING TIMESTAMP BINARY 3.2 集合数据类型 STRUCT MAP ARRAY 3.3 文本数据编码 \n 文本文件,分隔行 ^A (“control” A) 列分隔字符,用八进制\001表示 ^B 用于分隔Array或S

2.1 安装预先配置好的虚拟机2.2 安装详细步骤2.2.1 安装JavaHive依赖于Hadoop,而Hadoop依赖于Javalinux系统中Java安装$ /usr/java/latest/bin/java -versionjava version "1.6.0_23"Java(TM) SE Runtime Environment (build 1.6.0_23-b05)Java H

13.1 发现和描述函数SHOW FUNCTIONS列举当前Hive会话中所加载的所有函数名。包括内置的和用户自定义的函数。hive> SHOW FUNCTIONS;absacosandarray使用DESCRIBE FUNCTION显示函数的简短描述信息。hive> DESCRIBE FUNCTION concat;concat(str1, str2, ... strN) - ret