关闭
当前搜索:

Hive编程(十三)【函数】

13.1 发现和描述函数SHOW FUNCTIONS列举当前Hive会话中所加载的所有函数名。包括内置的和用户自定义的函数。hive> SHOW FUNCTIONS; abs acos and array 使用DESCRIBE FUNCTION显示函数的简短描述信息。 hive> DESCRIBE FUNCTION concat; concat(str1, str2, ... strN) - ret...
阅读(64) 评论(0)

Hive编程(十二)【开发】

12.1 修改Log4J属性Hive使用$HIVE_HOME/conf目录下的2个Log4j配置文件来配置日志。hive-log4j.properties文件控制CLI和其他本地执行组件的日子。hive-exec-log4j.properties控制MapReduce tasks内的日志。使用hiveconf修改Hive日志级别$ bin/hive -hiveconf hive.root.logge...
阅读(42) 评论(0)

Hive编程(十一)【其他文件格式和压缩方法】

11.1 确定安装编解码器# hive -e "set io.compression.codecs" io.compression.codecs=org.apache.hadoop.io.compress.GzipCodec, org.apache.hadoop.io.compress.DefaultCodec, org.apache.hadoop.io.compress.BZip2Codec...
阅读(70) 评论(0)

Hive编程(十)【调优】

10.1 使用EXPLAINhive> DESCRIBE onecol; number inthive> SELECT * FROM onecol; 554hive> SELECT SUM(number) FROM onecol; 14 使用EXPLAIN hive> EXPLAIN SELECT SUM(number) FROM onecol; 10.2 EXPLAIN EXTENDE...
阅读(77) 评论(0)

Hive编程(九)【模式设计】

9.1按天划分的表hive> CREATE TABLE supply_2011_01_02 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_03 (id int, part string, quantity int); hive> CREATE TABLE supply_2011_01_04 (id i...
阅读(42) 评论(0)

Hive编程(八)【HiveQL:索引】

Hive只有有限的索引功能。没有关系型数据库中键的概念。8.1 创建索引对如下管理分区表建立索引CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY, deductions MAP, address STRUCT<street:STRING, city:ST...
阅读(39) 评论(0)

Hive编程(七)【HiveQL:视图】

视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM ( SELECT * FROM people JOIN cart ON (cart.people_id=people.id) WHERE firstname='john' ) a SELECT a.lastname WHERE a.id=3; 创建视图 CREATE V...
阅读(78) 评论(0)

Hive编程(六)【HiveQL:查询】

6.1 select…from语句有如下表结构:CREATE TABLE employees ( name STRING, salary FLOAT, subordinates ARRAY, deductions MAP, address STRUCT...
阅读(95) 评论(0)

Hive编程(五)【HiveQL:数据操作】

5.1 向管理表中装载数据LOAD DATA LOCAL INPATH '${env:HOME}/california-employees' OVERWRITE INTO TABLE employees PARTITION (country = 'US', state = 'CA'); 在上述例子中,如果分区目录不存在的话,会先创建分区目录。然后再将数据拷贝到该目录下. 如果目标表是非分区表,省略掉...
阅读(55) 评论(0)

Hive编程(四)【HiveQL:数据定义】

视图是一个逻辑结构。不像表会存储真实的数据。目前暂不支持物化视图。7.1 使用视图来降低查询复杂度假若有如下的嵌套子查询:FROM ( SELECT * FROM people JOIN cart ON (cart.people_id=people.id) WHERE firstname='john' ) a SELECT a.lastname WHERE a.id=3; 创建视图 CREATE V...
阅读(78) 评论(0)

Hive编程(三)【数据类型和文件格式】

3.1 基本数据类型TINYINT SMALLINT INT BIGINT BOOLEAN FLOAT DOUBLE STRING TIMESTAMP BINARY 3.2 集合数据类型 STRUCT MAP ARRAY 3.3 文本数据编码 \n 文本文件,分隔行 ^A (“control” A) 列分隔字符,用八进制\001表示 ^B 用于分隔Array或S...
阅读(55) 评论(0)

Hive编程(二)【基础操作】

2.1 安装预先配置好的虚拟机2.2 安装详细步骤2.2.1 安装JavaHive依赖于Hadoop,而Hadoop依赖于Java linux系统中Java安装 $ /usr/java/latest/bin/java -version java version "1.6.0_23" Java(TM) SE Runtime Environment (build 1.6.0_23-b05) Java H...
阅读(94) 评论(0)

Hive编程(一)【基础知识】

Hive提供了一个被称为Hive查询语言(简称HiveQL或HQL)的SQL方言,来查询存储在Hadoop集群中的数据。Hive可以将大多数的查询转换为MapReduce任务。Hive最适合数据仓库应用程序。使用该应用程序进行相关的静态数据分析,不需要快速响应给出结果,且数据本身不会频繁变化。Hive不是一个完整的数据库。Hadoop以及HDFS的设计本身约束和局限性的限制了Hive所能胜任的工作。...
阅读(65) 评论(0)
    个人资料
    • 访问:1065133次
    • 积分:15788
    • 等级:
    • 排名:第717名
    • 原创:313篇
    • 转载:762篇
    • 译文:107篇
    • 评论:274条
    博客专栏
    文章分类
    打赏
    如果你觉得我的文章对您有用,请随意打赏。 微信 支付宝