hive学习

主要学习参考：http://lxw1234.com/archives/category/hive，很不错
学习日志1
https://www.cnblogs.com/qingyunzong/p/8707885.html#_label0_0
1、什么hive？

1、Hive 由 Facebook 实现并开源
2、是基于 Hadoop 的一个数据仓库工具
3、可以将结构化的数据映射为一张数据库表
4、并提供 HQL(Hive SQL)查询功能
5、底层数据是存储在 HDFS 上
6、Hive的本质是将 SQL 语句转换为 MapReduce 任务运行
7、使不熟悉 MapReduce 的用户很方便地利用 HQL 处理和计算 HDFS 上的结构化的数据，适用于离线的批量数据计算。

2、 hive有什么优缺点

优点：
　　1、可扩展性,横向扩展，Hive 可以自由的扩展集群的规模，一般情况下不需要重启服务 横向扩展：通过分担压力的方式扩展集群的规模 纵向扩展：一台服务器cpu i7-6700k 4核心8线程，8核心16线程，内存64G => 128G
　　2、延展性，Hive 支持自定义函数，用户可以根据自己的需求来实现自己的函数
　　3、良好的容错性，可以保障即使有节点出现问题，SQL 语句仍可完成执行
缺点：
　　1、Hive 不支持记录级别的增删改操作，但是用户可以通过查询生成新表或者将查询结 果导入到文件中（当前选择的 hive-2.3.2 的版本支持记录级别的插入操作）
　　2、Hive 的查询延时很严重，因为 MapReduce Job 的启动过程消耗很长时间，所以不能 用在交互查询系统中。
　　3、Hive 不支持事务（因为不没有增删改，所以主要用来做 OLAP（联机分析处理），而 不是 OLTP（联机事务处理），这就是数据处理的两大级别）。

3、hive的安装参考：https://www.cnblogs.com/linbingdong/p/5829369.html
4、分区表和分桶表的区别 https://blog.csdn.net/jenrey/article/details/80588493
5、Hive Shell的基本操作

1）进入Hive部署包的bin目录，在命令行输入./hive启动hive cli。
$ cd /user/home/apache-hive-2.2.0-bin/bin
$ ./hive
2）set用来显示和修改变量。如果只使用set，则显示所有变量和属性，包括varconf，env，system和hiveconf。如果加上-v还可以显示hadoop相关的信息。
3）两种创建变量方法
1.在启动hive时，通过–define key=value 或者 –hivevar key=value的形式创建变量
或者
$ hive --define testkey=testvalue //或者使用 --hivevar或-d
hive> set hivevar:testkey; //此处的hivevar:可省略，即直接使用set 
hivevar:testkey=testvalue

2.在启动hive后，通过set创建变量。
     使用set创建  hive> set hivevar:testkey2=testvalue2;
     在Hive处理一条查询语句之前，会将查询语句中的变量替换成相应的值，然后再处理。但是set创建变量时hivevar不可以省略。否
     则，在执行create table语句时，会报错“AILED: ParseException line 1:23 cannot recognize inp