Hive文件格式
-
TEXTFILE
- 默认格式,数据不进行任何压缩
- 存储方式:行存储
- 磁盘开销大,数据解析开销大
- Hive不会对其进行切分,无法对数据进行并行操作
-
SEQUENCEFILE
- 二进制文件,以<key,value>形式序列化到文件中
- 存储方式:行存储
- 可分割、可压缩。支持三种压缩方式:NONE,RECORD,BLOCK。Record压缩率低,一般选择block压缩。
- 文件和Hadoop API中的mapfile相互兼容
-
RCFILE
- 存储方式:按行分块,每块按照列存储。保证同一个record在一个块上,避免读一个record需要读取多个block。其次,块数据列存储,有利于数据压缩和快速列存取
- 压缩快,快速列存取
- 读记录尽量控制block最少
- 读取指定的列只需读取每个row group的头部定义
- 读取全量数据时,性能可能对SEQUANCEFILE性能差
-
ORCFILE
- 存储方式:按行分块,每块按照列存储
- 压缩快,快速列存储
- 效率比RC高,可以理解为RC的改进版
-
PARQUET
- 类似于ORC
- 通用性比ORC强,Hadoop生态系统中大部分工程都支持该文件格式
Hive数据导出
- 本地文件导入到Hive表,需提前创建表
load data local inpath
"/tmp/user/data/demo_local.parquet"
into table db_tmp.demo_local;
- HDFS文件导入到Hive表,需提前创建表
load data inpath
"/tmp/user/data/demo_hdfs.parquet"
into table db_tmp.demo_hdfs;
- Hive表导入到Hive表
insert into table demo_hive
select * from demo_hive_b;
- 创建表时从其他Hive表导入
create table demo_a
as select * from demo_hive_b;
- 通过sqoop将mysql库导入到Hive表
-- 默认导入到default库
sqoop import --connect
jdbc:mysql://10.168.225.1:3306/casedb
--username root
--password password
--table demo --hive-import
--create-hive-table -m 1
-- 指定导入的数据库
sqoop import --connect
jdbc:mysql://10.168.225.1:3306/casedb
--username root
--password root --table demo
--hive-import --create-hive-table
--hive-table database.demo -m 1
Hive数据导入
- 导出到本地
insert overwrite local directory
"/home/hadoop/data/"
row format dilimited
fields terminated by ","
select * from demo_hive_b;
- 导出到HDFS
insert overwrite directory
"/home/hadoop/data/"
row format dilimited
fields terminated by ","
select * from demo_hive_b;
- Hive命令行导出
# Linux bash终端
# 重定向方式
hive -e "select * from demo_hive_b" >>
/home/hadoop/data/demo_output.txt
# sql文件方式
echo "select * from demo_hive_b" >
/home/hadoop/data/demo_output.sql
hive -f /home/hadoop/data/demo_output.sql >>
/home/hadoop/data/demo_output.txt