hive
eiffel_0311
这个作者很懒,什么都没留下…
展开
-
Hive 调优
1. 使用 explain 查看执行计划explain extended select count(distinct(name)) from employees;2. 调整limit 相关参数一条查询语句如果有limit 限制, 他也会扫描整个表3. 严格模式修改hive-site.xml hive.mapred.mode原创 2016-05-10 11:03:54 · 75025 阅读 · 0 评论 -
hive streaming
1. hive 的streaming 包括: map(), reduce(), transform(), 常用的为transform2. 恒等变换select transform(name, salary) using "/bin/cat" as new_name, new_salary from employees where country = 'CHINA';原创 2016-05-10 20:40:46 · 75600 阅读 · 0 评论 -
Hive 安装
1.先决条件 要先安装hadoop, 官网下载hadoop-2.7.2.tar.gz2.安装hive1)下载hive apache-hive-2.0.0-bin.tar.gz2)解压 tar -zxzf apache-hive-2.0.0-bin.tar.gz3)修改/etc/profile文件,添加如下: export HIVE_HOM原创 2016-05-06 09:54:04 · 77698 阅读 · 0 评论 -
hive 基本操作
一. 简单的表操作1. 创建一个表 create table test(id int);2. 从本地导入数据 LOAD DATA LOCAL INPATH '/opt/hive/current/testdata/a.txt' INTO TABLE test; 其中a.txt 内容为: 1 2 3 43. 测试数据是否导入原创 2016-05-06 17:11:31 · 76972 阅读 · 0 评论 -
HiveQL 查询
1. 创建表CREATE TABLE employees (name STRING,salary FLOAT,subordinates ARRAY,deductions MAP,address STRUCT)PARTITIONED BY (country STRING, state STRING)ROW FORMAT DELIMITEDFIELDS TE原创 2016-05-10 08:28:10 · 75969 阅读 · 0 评论 -
Hive 分区
1. 建立多个表,每个表导入不同的数据create table test_1 (id int);create table test_2 (id int);create table test_3 (id int);............2. 创建分区表create table test(id int) partitioned by (name sting);原创 2016-05-10 08:28:41 · 76028 阅读 · 0 评论