Hive的数据类型
基本数据类型
INT BIGINT FLOAT DOUBLE DEICIMAL STRING VARCHAR CHAR BINARY TIMESTAMP DATE INTERVAL ARRAY
复杂数据类型
MAP STRUCT UNION
create table stu3 as select * from stu2; 复制数据复试表结构
create table stu4 like stu2; 不复制数据复试表结构
加载数据
- 从linux中加载数据到hive
load data local inpath ‘数据路径’ into table 表名; - 从hdfs中加载数据到hive,并覆盖
load data inpath ‘数据路径’ overwrite into table 表名;
外部表
create external table techer (t_id string,t_name string) row format delimited fields terminated by ‘\t’;
- 加载数据
load data local inpath ‘/export/servers/hivedatas/techer .csv’ into table techer ; - 在hdfs查看表中的数据
hadoop fs -ls /user/hive/warehouse/myhive.db/techer - 在hive中查询
select * from techer - 删除数据表techer
drop table techer; - 再次查看
hadoop fs -ls /user/hive/warehouse/myhive.db/techer(数据依然存在)
内部表
create table student(t_id string,t_name string) row format delimited fields terminated by ‘\t’;
加载数据
load data local inpath ‘/export/servers/hivedatas/student .csv’ into table student;
- 在hdfs查看表中的数据
hadoop fs -ls /user/hive/warehouse/myhive.db/student - 在hive中查询
select * from student - 删除数据表techer
drop table student; - 再次查看
hadoop fs -ls /user/hive/warehouse/myhive.db/student(数据不存在)
分区表
企业常见的分区规则:按天进行分区(一天一个分区)
- 创建分区表的语句
create table score(s_id string,c_id string,s_score int) partitioned by (month string) row format delimitedfieldsterminated by ‘\t’;
create table score2 (s_id string,c_id string,s_score int) partitioned by (year string,month string,day string) row formatdelimited fields terminated by ‘\t’;
- 数据加载
load data local inpath ‘/opt/hive/score.csv’ into table score partition (month=‘201806’);
load data local inpath ‘/opt/hive/score.csv’ into table score2 partition(year=‘2018’,month=‘06’,day=‘02’);
特别强调:
*!!!分区字段绝对不能出现在数据表以有的字段中。
作用:
将数据按区域划分开,查询时不用扫描无关的数据,加快查询速度。
分桶表
是在已有的表结构之上新添加了特殊的结构/
- 开启hive的桶表功能
set hive.enforce.bucketing=true; - 设置桶(reduce)的个数
set mapreduce.job.reduces=3; - 建分桶表
create table course (c_id string,c_name string,t_id string) clustered by(c_id) into 3 buckets row format delimited fields terminated by ‘\t’; - 创建基本表
create table course_common (c_id string,c_name string,t_id string) row format delimited fields terminated by ‘\t’; - 基本表添加数据
load data local inpath ‘/export/servers/hivedatas/course.csv’ into table course_common;
在基本表中查询数据插入到分桶表
insert overwrite table course select * from course_common cluster by(c_id); - 确认分桶内的数据
[root@node01 hive]# hadoop fs -cat /user/hive/warehouse/course/000000_0 03 英语 03 [root@node01
hive]# hadoop fs -cat /user/hive/warehouse/course/000001_0 01 语文 02 [root@node01 hive]# hadoop fs -
cat /user/hive/warehouse/course/000002_0 02 数学 01
特别强调:
分桶字段必须是表中的字段。
分桶逻辑:
对分桶字段求哈希值,用哈希值与分桶的数量取余,余几,这个数据就放在那个桶内。
分桶的作用和好处
- 1、对于join的需求,能够起到优化加速的作用。(前提是,join字段设置为分桶字段)
- 2、用于数据取样(获取/提取数据样本)
将数据编号作为分桶字段。这样每个桶内各种“级别”的数据都有