hive在centos7下的安装部署
前提
1、首先有自己的远程终端登录工具,我这里用的是mobaxterm,目前感觉这款工具比较强大,既可以实现终端操作,也可以实现sftp文件传输功能
2、获取安装包hive-2.3.6版本
-
Hive官网地址
http://hive.apache.org/ -
文档查看地址
https://cwiki.apache.org/confluence/display/Hive/GettingStarted -
下载地址
http://archive.apache.org/dist/hive/ -
github地址
https://github.com/apache/hive -
hive网盘地址:点击这里获取
提取码:1111 -
mobaxterm网盘获取地址:点击这里获取
提取码:1111
安装hive
1、将安装包apache-hive-2.3.6-bin.tar.gz上传到centos7的/opt/soft目录下(根据自己的实际情况)
使用mobaxterm或者其他的远程终端工具连接上虚拟机,然后直接将hive安装包拖入或者上传即可。
2、解压安装包
使用tar -zvxf 安装包路径 -C 解压后的目的路径
对hive安装包进行解压,
我这里安装包放在/opt/soft/目录下,解压到/opt/module/目录下面
tar -zvxf apache-hive-2.3.6-bin.tar.gz -C /opt/module/
3、修改名称
修改apache-hive-2.3.6-bin的名称为hive
mv apache-hive-2.3.6-bin hive
4、修改hive配置文件
- 4.1 进入hive的conf目录下
- 4.2 修改/opt/module/hive/conf目录下的hive-env.sh.template名称为hive-env.sh
- 4.3 配置hive-env.sh
(a)配置HADOOP_HOME路径
(b)配置HIVE_CONF_DIR路径export HADOOP_HOME=/opt/module/hadoop-2.7.2
export HIVE_CONF_DIR=/opt/module/hive/conf
hadoop集群配置
-
启动hdfs和yarn
[root@bigdata01 hadoop-2.7.2]# sbin/start-dfs.sh [root@bigdata01 hadoop-2.7.2]# sbin/start-yarn.sh
-
在HDFS上创建/tmp和/user/hive/warehouse两个目录并修改他们的同组权限可写
创建目录[root@bigdata01 hadoop-2.7.2]# bin/hadoop fs -mkdir /tmp [root@bigdata01 hadoop-2.7.2]# bin/hadoop fs -mkdir /user/hive/warehouse
修改权限
[root@bigdata01 hadoop-2.7.2]# bin/hadoop fs -chmod g+w /tmp [root@bigdata01 hadoop-2.7.2]# bin/hadoop fs -chmod g+w /user/hive/warehouse
hive基本操作
(1)启动hive
[root@bigdata01 hive]$ bin/hive
(2)查看数据库
show databases;
(3)打开默认数据库
use default;
(4)显示default数据库中的表
show tables;
(5)创建一张表
create table student(id int, name string);
(6)显示数据库中有几张表
show tables;
(7)查看表的结构
desc student;
(8)向表中插入数据
insert into student values(1000,"ss");
(9)查询表中数据
select * from student;
(10)退出hive
exit;
演示向hive中导入本地数据文件
需求:将本地(centos7)中/opt/data/hive/student1.txt中的数据导入到hive中的student1表中
对应的字段包括:学生id,姓名,年龄
-
准备数据
在/opt/data/hive这个目录下准备数据
数据间以tab键为间隔
[root@bigdata01 hive]# vi student1.txt 1001 Bob 18 1002 Jerry 20 1003 Ethan 16 1004 shirley 22
-
操作
2.1 启动hivebin/hive
2.2 显示数据库
show databases;
2.3 使用default数据库
use default;
2.4 显示default数据库中的表
show default;
2.5 删除已创建的student1表
drop table student1;
2.6 创建student1表, 并声明文件分隔符’\t’
create table if not exists student1(id int,name string,age int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t';
2.7 加载/opt/module/datas/student.txt 文件到student数据库表中。
load data local inpath '/opt/data/hive/student1.txt' into table student1;
2.8 Hive查询结果
select * from student1;
具体操作的所有截图:
–
写作不易,认真创作,希望能收获大家的喜欢和点赞+关注