关于hive的那些事(上)

今天来缕一缕关于Hive的那些事，什么事呢​？别急，且听我慢慢道来，如果有不当或错误的地方，欢迎指正，不胜感激​。

hive常用命令

在hive安装目录下输入(配置环境变量的话可以在任意目录下)

bin/hive -help​

可以查看hive相关命令和参数

这里只举例我们常用的

“ -e ” 在不进入hive客户端的情况下，输入hive命令​。如

bin/hive -e "select * from nginx_db.nginx"

​这里需要注意的是指定数据库，如上nginx_db下的nginx表
" -f " 执行sql文件，如
我们在主目录下，创建一个sql脚本

vim testHive.sql
#写入如下sql语句
select * from nginx_db.nginx
#保存退出​

回到hive安装目录下，输入

bin/hive -f ~/testhive.sql​

可以看见效果是一样的
使用此命令还可以把sql执行的结果写入到指定文件，如

bin/hive -f ~/testhive.sql > ~/testHive.txt

需要注意的是 “ > ”​符号是Linux的重定向命令。我抽时间我们在卷一卷Linux下常用命令

​在主目录下查看

产生了这个文件

好啦，这两个命令是hive最常用的命令，当然最常用的还是退出hive客户端命令，exit 和quit
不过还要注意一下，在beeline 客户端中退出命令是

!quit

hive日志

日志在日常的项目开发中，尤为重要，可以说他是你解决报错的一盏明灯​。尤其是我们在学习各种框架组件的时候了解他的日志是极为必要的​
hive默认日志文件在

/tmp/root/hive.log

这里还是需要注意的是root代表的是你登陆这台操作系统的用户名称，如果说你现在登陆的用户名是yj 那么hive默认日志文件就在/tmp/yj/hive.log 下​
当然这个路径是可以自己配置指定的

在hive配置文件目录下

先将 hive-log4j2.properties.template 改名为hive-log4j2.properties
vim hive-log4j2.properties
找到

property.hive.log.dir = ${sys:java.io.tmpdir}/${sys:user.name}

这是他的默认配置，$sys:java.io.tmpdir代表系统的临时目录tmp，${sys:user.name}代表系统当前用户名称，现在明白为什么默认日志文件在/tmp/root/hive.log下了吧

怎么修改肯定不用我说了吧，将$sys:java.io.tmpdir/${sys:user.name}改为​自己指定的目录即可。
如何查看日志文件呢 相信你一定会觉得简单，用cat呀，拜托一般日志文件都是很大的，谁还用cat呀，一点都不够专业，用什么 tail呀

tail -n 100 hive.log

这也是一条Linux命令，-n代表最后一百行，一般查日志都查最后几十行最多几百行，看来一定抽时间卷一卷Linux​常用命令。

Hive数据类型，咦，注意干货来啦​。当然啦上面的也很重要​。

基本数据类型就不说啦​

直接上实操，数据格式长这样。

{
 "name": "songsong",
 "friends": ["bingbing" , "lili"] , //列表 Array, 
 "children": { //键值 Map,
 "xiao song": 18 ,
 "xiaoxiao song": 19
 }
 "address": { //结构 Struct,
 "street": "hui long guan",
 "city": "beijing"
 }
}

创建测试文件​test.txt

songsong,bingbing_lili,xiao song:18_xiaoxiao song:19,hui long 
guan_beijing
yangyang,caicai_susu,xiao yang:18_xiaoxiao yang:19,chao yang_beijing

注意，MAP，STRUCT，ARRAY里的元素之间的g关系可以用同一符号表示，这里用“_”,你也可以自定义

创建测试表test

create table test(
create table test(
name string,
friends array<string>,
children map<string, int>,
address struct<street:string, city:string>
)
row format delimited fields terminated by ','
collection items terminated by '_'
map keys terminated by ':'
lines terminated by '\n';

字段解释
row format delimited fields terminated by ‘,’ – 列分隔符
collection items terminated by ‘_’ --MAP STRUCT 和 ARRAY 的分隔符(数据分割符号)
map keys terminated by ‘:’ – MAP 中的 key 与 value 的分隔符
lines terminated by ‘\n’; – 行分隔符

加载数据

load data local inpath '/root/test.txt' into table test;

查看数据

select friends[1],children['xiao song'],address.city from test where name="songsong";​