Hive练习

Hive练习

博客资源：

一些自己编造的数据，还有一个从朋友那里获取到的数据，随意玩玩。当前下面练习描述中我会用到。

链接：https://pan.baidu.com/s/15Ix8wlQ5zQOEB6Q-7mW9yA
提取码：z7mb

是个压缩包，因为不想再网盘中存放的很乱，所以压缩了，不过放心，就几个txt和一个json文件，没有毒。

下载后，将解压的文件中的上传至hivedata文件夹中的文件上传至 /export/data/hivedata/ 上，然后打开建表语句，在Hive的窗口里运行。

语法啥的不在这里记录的，这里只是一些操作进行一些简单的练习，以便能够更好的理解。

创建表

create table test1(id int,name string,age int);

这里没有指定，这里没有指定分隔符，会默认使用^A 作为分隔符。下面的指定了分隔符。

建内部表

create table student(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ',';

建外部表

create external table student_ext(Sno int,Sname string,Sex string,Sage int,Sdept string) row format delimited fields terminated by ',' location '/stu';

这里使用的是内置的分隔符，如果内置的分隔符不满足需求，则可以在之前的Hive操作中有写道另外一个可选项 SERDE ，可以通过代码来编写自定义的分隔符。

建存在集合或者键值对等格式的外部表

假设存在数据：名字与工作地点之间用 /t 进行分割，工作地点是一个数列，用逗号进行分割。

zhangsan	beijing,shanghai,tianjin,hangzhou
wangwu	shanghai,chengdu,wuhan,haerbin

首先先在存放测试数据的地方建好对应的测试数据：

接着在node-3 连接好的Hive客户端上创建对应的外部表：

create table complex_array(name string,work_locations array<string>) 
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' 
COLLECTION ITEMS TERMINATED BY ',';

然后将数据与外部表映射起来。

load data local inpath '/export/data/hivedata/complex_array.txt' into table complex_array;

假设存在数据：列之间用逗号分隔，爱好之间是键值对的形式，每个键值对之间用 - 进行分割。

1,zhangsan,唱歌:非常喜欢-跳舞:喜欢-游泳:一般般
2,lisi,打游戏:非常喜欢-篮球:不喜欢

按照上面的操作步骤来，只是创建表的语句存在一点差异而已。

create table t_map(id int,name string,hobby map<string,string>)
row format delimited 
fields terminated by ','
collection items terminated by '-'
map