1.声明
当前内容主要用于本人学习和复习,当前内容主要为下载安装启动当前的Hive
当前内容来源:Hive官方文档
2.下载和解压
这里要求Java1.7和Hadoop2.X以及Hive2.X
本人环境:jdk1.8,Hadoop2.8.5,Hive 2.3.7
下载apache-hive-2.3.7-bin.tar.gz
并解压
3.使用前的配置
Hive使用Hadoop,所以的路径上面必须要有Hadoop(直接配置环境变量HADOOP_HOME)和HIVE环境变量
启动当前的Hadoop:./sbin/start-all.sh
等待启动完成…
开始为当前的Hive配置HDFS上面的文件夹
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user
hadoop fs -mkdir /user/hive
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user
hadoop fs -chmod g+w /user/hive
hadoop fs -chmod g+w /user/hive/warehouse
就是基本按照官方的配置即可
4.启动并初始化数据库
直接进入Hive中,开始初始化数据库(其中<db type>表示你想创建的数据库类型
):
./bin/schematool -dbType <db type> -initSchema
例如:创建官方的derby数据库(纯java数据库)
./bin/schematool -dbType derby -initSchema
启动hive进入shell命令行
./bin/hive
5.使用官方的操作
create table pokes(foo int,bar string);
create table invites(foo int ,bar string) partitioned by (ds String);
show tables;
查看表结构和查询数据:
结果发现当前的derby的语法类似于mysql数据库(所以就不测试了)
总的来说,当前的hive可以初始化为各种数据库,并使用相对应的sql语言…(本质上就是多版本数据库?)
6.查看当前的HDFS文件
查看/user下面的东西
发现我们初始化数据库时,然后创建的表会出现在前面创建的文件夹中:/user/hive/warehouse
为表users中添加数据:(users表中具有id int,name string)
此时发现:
执行查询数据操作:
7.期间出现的问题:
Call From node2/127.0.0.1 to node2:9000 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
(需要启动当前的Hadoop,才能运行Hive)FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
(本人出现的问题是没有初始化数据库:./bin/schematool -dbType <db type> -initSchema
)- 如果出现2中的问题可以使用:
schematool -upgradeSchema
(如果方法行不通,可以考虑停止当前的Hive,然后等待几秒,重新cd到bin文件中使用hive启动,本人成功过,不知道这是什么bug)
8.总结
1.Hive依赖于Hadoop,必须先启动Hadoop,并且为Hive创建指定的文件,才能使用Hive
2.当前的Hive就是一个类似数据库的东西,可以自定义初始化数据库的类型
3.当初始化当前的Hive数据库类型后,其后面的操作就是该数据库的sql操作,注意以分号“;”结束
以上纯属个人见解,如有问题请联系本人!