linux安装与搭建Hive

最新推荐文章于 2024-09-09 07:00:00 发布
最新推荐文章于 2024-09-09 07:00:00 发布
阅读量683 收藏 9
点赞数 1
分类专栏： 大数据搭建 文章标签： hive hadoop linux 大数据
原文链接：https://blog.csdn.net/weixin_43660536/article/details/118540590
版权

1、Hive的安装

目录

节点\功能metastorehiveserver2client
node01**
node02*
node03*

PS: 安装前 请确认当前集群已经安装了Mysql数据库、ZooKeeper和Hadoop的Ha+Yarn

如果未安装：
链接: MySQL安装 ：. https://blog.csdn.net/weixin_43660536/article/details/118033294
链接: ZooKeeper安装：. https://blog.csdn.net/weixin_43660536/article/details/118369963
链接: hadoop ha安装：. https://blog.csdn.net/weixin_43660536/article/details/118358298
链接: yarn搭建: . https://blog.csdn.net/weixin_43660536/article/details/118540991

1、下载上传解压

  • 下载地址

    • http://archive.apache.org/dist/hive/

    • [root@node01 ~]# tar -zxvf apache-hive-3.1.2-bin.tar.gz 
[root@node01 ~]# mv apache-hive-3.1.2-bin /opt/yjx/
[root@node01 ~]# cd /opt/yjx/apache-hive-3.1.2-bin/conf

  • 准备驱动包

    • hive-jdbc-2.1.1-cdh6.2.0-standalone.jar
    • mysql-connector-java-5.1.32-bin.jar

2、修改配置文件

  • 配置hive-env.sh

    • [root@node01 conf]# cp hive-env.sh.template hive-env.sh

    • [root@node01 conf]# vim hive-env.sh

    • export HADOOP_HOME=/opt/yjx/hadoop-3.1.2/
export HIVE_CONF_DIR=/opt/yjx/apache-hive-3.1.2-bin/conf 
export HIVE_AUX_JARS_PATH=/opt/yjx/apache-hive-3.1.2-bin/lib

  • 创建hive-site.xml

    • [root@node01 conf]# cp hive-default.xml.template hive-site.xml

    • [root@node01 conf]# vim hive-site.xml

    • 删除多余的配置文件 6897dd

    • <!-- 数据库相关配置 -->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://node01:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>123456</value>
</property>
<property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>
<!-- 美化打印数据 -->
<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
</property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
</property>

<!-- hive server -->
<property>
    <name>hive.server2.webui.host</name>
    <value>node01</value>
</property>
<property>
    <name>hive.server2.webui.port</name>
    <value>10002</value>
</property>

<!-- 数据存储位置 -->
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
</property>

  • 修改core-site.xml

    • [root@node01 conf]# vim /opt/yjx/hadoop-3.1.2/etc/hadoop/core-site.xml

    • 后面添加配置信息

    • <!--该参数表示可以通过httpfs接口hdfs的ip地址限制-->
<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<!--通过httpfs接口访问的用户获得的群组身份-->
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

3、配置日志组件

  • 创建文件目录
[root@node01  ~]# mkdir -p /opt/yjx/apache-hive-3.1.2-bin/logs
[root@node01 conf]# cp hive-log4j2.properties.template  hive-log4j2.properties
[root@node01 conf]# vim hive-log4j2.properties

  • 修改配置

  • property.hive.log.dir = /opt/yjx/apache-hive-3.1.2-bin/logs

4、添加驱动包

  • Mysql驱动添加到hive的lib目录下

  • [root@node01 ~]# cp ~/mysql-connector-java-5.1.32-bin.jar /opt/yjx/apache-hive-3.1.2-bin/lib/

  • Guava包

    • 首先要删除hadoop中的guava-*.jar包

    • [root@node01 ~]# rm -rf /opt/yjx/hadoop-3.1.2/share/hadoop/common/lib/guava-*.jar
[root@node01 ~]# rm -rf /opt/yjx/hadoop-3.1.2/share/hadoop/hdfs/lib/guava-*.jar

    • 将Hive的Guava拷贝给Hive

    • [root@node01 ~]# cp /opt/yjx/apache-hive-3.1.2-bin/lib/guava-*.jar /opt/yjx/hadoop-3.1.2/share/hadoop/common/lib/
[root@node01 ~]# cp /opt/yjx/apache-hive-3.1.2-bin/lib/guava-*.jar /opt/yjx/hadoop-3.1.2/share/hadoop/hdfs/lib/

5、配置环境变量

  • vim /etc/profile

    • export HIVE_HOME=/opt/yjx/apache-hive-3.1.2-bin
export PATH=$HIVE_HOME/bin:$PATH

6、拷贝到其他节点

  • hive文件夹

    • [root@node02 ~]# scp -r root@node01:/opt/yjx/apache-hive-3.1.2-bin /opt/yjx/
[root@node03 ~]# scp -r root@node01:/opt/yjx/apache-hive-3.1.2-bin /opt/yjx/

  • 环境变量

    • [root@node01 ~]# scp /etc/profile root@node02:/etc/profile
[root@node01 ~]# scp /etc/profile root@node03:/etc/profile

    • 【node123】source /etc/profile

  • core-stie.xml

    • [root@node01 ~]# scp /opt/yjx/hadoop-3.1.2/etc/hadoop/core-site.xml root@node02:/opt/yjx/hadoop-3.1.2/etc/hadoop/
[root@node01 ~]# scp /opt/yjx/hadoop-3.1.2/etc/hadoop/core-site.xml root@node03:/opt/yjx/hadoop-3.1.2/etc/hadoop/

  • jar包

    • [root@node02 ~]# rm -rf /opt/yjx/hadoop-3.1.2/share/hadoop/common/lib/guava-*.jar
[root@node02 ~]# rm -rf /opt/yjx/hadoop-3.1.2/share/hadoop/hdfs/lib/guava-*.jar
[root@node03 ~]# rm -rf /opt/yjx/hadoop-3.1.2/share/hadoop/common/lib/guava-*.jar
[root@node03 ~]# rm -rf /opt/yjx/hadoop-3.1.2/share/hadoop/hdfs/lib/guava-*.jar


[root@node02 ~]# cp /opt/yjx/apache-hive-3.1.2-bin/lib/guava-*.jar /opt/yjx/hadoop-3.1.2/share/hadoop/common/lib/
[root@node02 ~]# cp /opt/yjx/apache-hive-3.1.2-bin/lib/guava-*.jar /opt/yjx/hadoop-3.1.2/share/hadoop/hdfs/lib/
[root@node03 ~]# cp /opt/yjx/apache-hive-3.1.2-bin/lib/guava-*.jar /opt/yjx/hadoop-3.1.2/share/hadoop/common/lib/
[root@node03 ~]# cp /opt/yjx/apache-hive-3.1.2-bin/lib/guava-*.jar /opt/yjx/hadoop-3.1.2/share/hadoop/hdfs/lib/

7、客户端配置文件

  • 选取node03为客户端节点

    • [node03] vim /opt/yjx/apache-hive-3.1.2-bin/conf/hive-site.xml

    • <property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/hive/warehouse</value>
</property>
<property>
    <name>hive.cli.print.header</name>
    <value>true</value>
</property>
<property>
    <name>hive.cli.print.current.db</name>
    <value>true</value>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
</property>
<property>
    <name>datanucleus.schema.autoCreateAll</name>
    <value>true</value>
</property>
<!--指定hive.metastore.uris的port.为了启动metastore服务的时候不用指定端口-->
<!--hive ==service metastore -p 9083 & | hive ==service metastore-->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://node01:9083</value>
</property>

8、启动集群

  • 启动Zookeeper

    • 【123】zkServer.sh start

  • 启动Hdfs+Yarn

    • [root@node01 ~]# start-all.sh

  • 初始化数据库

    • [root@node01 ~]# schematool -dbType mysql -initSchema

    • 在这里插入图片描述

    • 在这里插入图片描述

  • 启动Hive

    • //前台运行
[root@node01 ~]# hive --service metastore
//后台运行
[root@node01 ~]# nohup hive --service metastore > /dev/null 2>&1 &

  • 启动HiveServer2（可启动可不启动）

    • //前台启动
[root@node01 ~]# hiveserver2
//后台启动
[root@node01 ~]# nohup hiveserver2 > /dev/null 2>&1 &

    • 连接

    • [root@node03 ~]# beeline -u jdbc:hive2://node01:10000 -n root

    • 连接成功，测试

    • show databases;
create databases hive;
show databases;
// 查看是否创建成功；

9、关机快照

  • 退出hive，Ctrl+C停止Hive进程 ；

  • //关闭hadoop与yarn
[root@node01 ~]# stop-all.sh
//关闭ZooKeeper
[123]# zkServer.sh start
//关机
[123]# shutdown -h now

  • 拍摄快照

10、Hive的三种交互方式

1）第一种交互方式

shell交互Hive，用命令hive启动一个hive的shell命令行，在命令行中输入sql或者命令来和Hive交互。

服务端启动metastore服务（后台启动）：nohup hive --service metastore > /dev/null 2>&1 &
进入命令:hive
退出命令行：quit;

2）第二种交互方式

Hive启动为一个服务器，对外提供服务，其他机器可以通过客户端通过协议连接到服务器，来完成访问操作，这是生产环境用法最多的

hadoop fs -chmod -R 777 /yjx

服务端启动hiveserver2服务：
nohup hive --service metastore > /dev/null 2>&1 &
nohup hiveserver2 > /dev/null 2>&1 &

需要稍等一下，启动服务需要时间：

进入命令:1)先执行： beeline ，在执行： ! connect jdbc:hive2://node01:10000 
        2)或者直接执行：  beeline -u jdbc:hive2://node01:10000 -n root
退出命令行：！exit

3）第三种交互方式

  • 使用 –e 参数来直接执行hql的语句
bin/hive -e "show databases;"
  • 使用 –f 参数通过指定文本文件来执行hql的语句
vim hive.sql

use myhive;
select * from test;

保存退出

hive -f hive.sql

特点：执行完sql后，回到linux命令行。

忄凝^
关注
专栏目录
Linux环境下Hive的安装
weixin_54707168的博客
03-23 182
Linux环境下Hive的安装
基于centos7搭建haoop与hive
congge_study的博客
01-12 7385
centos7搭建hadoop
linux环境下安装hive
wt5264的博客
12-28 1117
搭建Hive平台
weixin_33743661的博客
02-24 121
Hive是一个基于Hadoop的数据仓库平台。通过hive，我们可以方便地进行ETL的工作。hive定义了一个类似于SQL的查询语言：HQL，能够将用户编写的QL转化为相应的Mapreduce程序基于Hadoop执行。 本文讲解如何搭建一个Hive平台。假设我们有3台机器：hadoop1,hadoop2,hadoop3。并且都安装好了Hadoop-0.19.2（hive支持的Hadoop版本很多...
hive的安装配置和简单使用
最新发布
2401_83253656的博客
09-09 1122
本文用到了hadoop2.7.4，xshell,xftp，hive2.3.9压缩包，驱动。一个主机waq,两个从机s1,s2。本文仅供参考，请根据自己的实际情况进行修改。
rpm Header V3 DSA signature: NOKEY， key ID [number]错误解决
iteye_245的博客
04-11 379
后面加上 --force --nodeps # rpm -ivh db4-devel-4.3.29-9.fc6.i386.rpm --force --nodeps 从 RPM 版本 4.1 开始，在安装或升级软件包时会检查软件包的签名。 1. 如果签名校验失败，你就会看到如下所示的错误消息： error: V3 DSA signature: BAD, key ID 0352860f ...
Linux环境Hive安装配置及使用
weixin_34250434的博客
02-27 884
Linux环境Hive安装配置及使用 1. 认识Hive (1) Hive介绍： 官网：hive.apache.org/ Apache Hive™数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。提供了命令行工具和JDBC驱动程序以将用户连接到Hive。 hive提供了SQL查询功能 hdfs分布式存储。 hive本质HQL转化为MapR...
Linux搭建Hive开发环境
04-24
在Linux环境下搭建Hive开发环境是一个涉及多个步骤的过程，它包括了软件的下载、传输、安装和配置，最终实现Hive的本地运行。Hive作为一个数据仓库软件，它允许用户使用SQL语句对存储在分布式存储上的大数据集进行...
Linux下hive的安装（保姆级）
weixin_57028102的博客
11-04 5354
Hadoop集群上hive安装全过程，详细截图配文字说明
七、Linux下Hive安装搭建
I want to know a little more.
01-11 369
本文介绍Hive安装配置的整个过程，包括MySQL、Hive及Metastore的安装配置，并分析了Metastore三种配置方式的区别。网上有很多介绍Hive Metastore三种配置方式的文章，但是理解都不对，给读者造成了很多误导。本人详细阅读Apache和CDH官方文档中关于Hive Metastore的部分，并经过实践，终于填好各种坑，安装配置成功，遂记录下本文，供大家参考。 1. 相...
第7集-Hadoop环境搭建 - linux（centos7） - 安装配置hive2.1.1.pdf
09-17
通过上述步骤，我们成功地在CentOS 7环境下安装配置了Hive 2.1.1，并且配置了Hive与Hadoop之间的交互。这为后续进行大数据分析奠定了基础。接下来可以继续学习Hive的使用方法，以及如何利用Hive进行数据处理和查询。...
linux上安装配置hive
u013232219的博客
02-21 327
注意：在看这边文章之前请先去看我 hadoop安装的文章再进行下列操作 hive下载 & 配置 下载hive最新版:http://mirror.bit.edu.cn/apache/hive/ 解压缩: tar -zxvf apache-hive-3.1.2-bin.tar.gz 配置hive：$HIVE_HOME/bin/hive-config.sh export JAVA_H...
Linux上安装配置hive
m0_49705298的博客
08-10 537
安装hive的前提条件有： hadoop已安装 mysql已安装 开始安装 1.hive下载 下载链接【选择自己想要下载的版本】 下面以apache-hive-2.3.3-bin.tar.gz 为例 2.使用xshell的rz命令上传到linux 3.解压到 /usr/local tar -zvxf apache-hive-2.3.3-bin.tar.gz -C /usr/local 4.重命名 mv /usr/local/apache-hive-2.3.3-bin /usr/local/hive
linux下安装配置hive
记录日常开发过程中遇到的一些问题
03-24 1814
本机安装hive的过程记录在这里，参考文章：https://blog.csdn.net/Alen_Liu_SZ/article/details/80752273 一、 安装前准备 1 安装Hadoop 具体安装过程参考：Hadoop 2.7.6安装_伪分布式集群 2 安装MySQL 具体安装过程参考：MySQL基于二进制文件安装 3 下载Hive以及MySQL-jdbc HIve下载...
hive搭建
Qiniin的博客
01-07 488
Hive搭建实验环境实验步骤1.安装hive2.安装mysql3.修改配置4.hive实例化5.验证hive 实验环境 master：192.168.10.131 slave1：192.168.10.129 slave2：192.168.10.130 操作系统ubuntu-16.04.3 hadoop-2.7.1 zookeeper-3.4.8 hive-2.1.1 实验步骤 1.安装hive 下载并安装 wget https://archive.apache.org/dist/hive/hive-2.1
Hive搭建
Mr.Pan_学狂
11-30 377
对于Hive的搭建，我们需要准备的材料有：hive包：apache-hive-2.3.7-bin.tar.gz，Java包：mysql-connector-java-5.1.49.jar
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值