Centos 7上安装Hive 1.2.2 详细图文教程

已于 2022-02-23 23:29:18 修改
阅读量1.4k 收藏 5
点赞数
分类专栏： # Hive 文章标签： hive centos hadoop
于 2022-02-17 22:53:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41094332/article/details/122991575
版权

0. 安装MySQL

Centos 7上安装MySQL 5.7.37（图文详解）

1. 下载、上传、解压软件包

在Master上进行安装

下载Hive并上传到虚拟机上
http://mirror.bit.edu.cn/apache/hive/

解压

[root@master hive]# tar -zxvf apache-hive-1.2.2-bin.tar.gz

移动到规划好的文件夹下

[root@master hive]# tar -zxvf apache-hive-1.2.2-bin.tar.gz

在这里插入图片描述
在这里插入图片描述
bin：二进制命令文件
conf：配置文件
examples：示例
hcatalog：log日志
lib：文件库，运行时依赖的jar包
scripts：脚本文件

2. 修改Hive配置

（1）配置hive-env.sh

修改conf内hive-env.sh.template文件名

[root@master conf]# mv hive-env.sh.template hive-env.sh.template

修改hive-env.sh文件内容

[root@master conf]# vim hive-env.sh

在键盘上输入Go，其中G会跳到文件末尾，o会换行并进行插入编辑。
输入java、hadoop和Hive的安装路径、Hive的配置文件路径

export JAVA_HOME=/usr/local/src/jdk1.8.0_172
export HADOOP_HOME=/usr/local/src/hadoop-2.6.5
export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export HIVE_CONF_DIR=/usr/local/src/apache-hive-2.3.3-bin/conf

在这里插入图片描述

（2）配置hive-site.xml

创建hive-site.xml

[root@master conf]# touch hive-site.xml

修改文件内容

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
        <description>设置元数据存在的地址</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
        <description>配置连接Mysql的接口驱动（将jab包放到hive/lib下）</description>        
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
        <description>指定mysql用户名</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
        <description>指定msql密码</description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>hdfs://master:9000/hive/warehouse</value>
    </property>
    <property>
        <name>hive.exec.scratchdir</name>
        <value>hdfs://master:9000/hive/tmp</value>
    </property>
    <property>
        <name>hive.querylog.location</name>
        <value>/usr/hive/log</value>
        <description>设置hive job日志存储位置</description>
    </property>
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
        <description>设置列名</description>
    </property>
    <property>
        <name>hive.resultset.use.unique.column.names</name>
        <value>false</value>
        <description>增加列名可读性</description>
    </property>
    <!-- flume to hive test-->
    <property>
        <name>hive.support.concurrency</name>
        <value>true</value>
        <description>是否支持并发，默认是false</description>
    </property>
    
    <!--
    <property>
        <name>hive.txn.manager</name>
        <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
        <description>打开一部分事务支持协同配置</description>
    </property>
    -->
    <property>
        <name>hive.compactor.initiator.on</name>
        <value>true</value>
        <description>运行启动程序和清除线程,用于打开所需参数的完整列表事务</description>
    </property>
    <property>
        <name>hive.compactor.worker.threads</name>
        <value>1</value>
        <description>增加工作线程的数量将减少花费的时间</description>
    </property>
    <property>
        <name>hive.enforce.bucketing</name>
        <value>true</value>
        <description>是否启用bucketing，写入table数据</description>
    </property>
    <property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
        <description>设置动态分区模式为非严格模式</description>
    </property>
</configuration>

（3）增加环境变量

修改系统环境变量

[root@master conf]# vim ~/.bashrc

添加Hive路径

export HIVE_HOME=/usr/local/src/apache-hive-1.2.2-bin
export PATH=$PATH:${HIVE_HOME}/bin

在这里插入图片描述
刷新环境变量使其生效

[root@master conf]# source ~/.bashrc

3. 安装MySQL连接工具

将mysql-connector-java-5.1.44.tar下载好后上传至虚拟机

解压

[root@master src]# tar -xvf mysql-connector-java-5.1.44.tar

将解压后的文件移动到规划好的文件夹下

[root@master src]# mv mysql-connector-java-5.1.44 /usr/local/src

在这里插入图片描述
将mysql-connector-java-5.1.44里面的jar包复制到Hive的lib目录下

[root@master mysql-connector-java-5.1.44]# cp mysql-connector-java-5.1.44-bin.jar $HIVE_HOME/lib
[root@master mysql-connector-java-5.1.44]# cd $HIVE_HOME/lib
[root@master lib]# ls

在这里插入图片描述

4. 启动Hive

Hive依赖Hadoop中的HDFS进行存储，依赖MySQL管理元数据。因此，我们需要等待Hadoop集群启动完成并退出安全模式后，才可以启动Hive。

（1）更改权限为root

首先，在Master上将hadoop、jdk、hive的权限所有者都改为root

[root@master src]# chown -R root:root hadoop-2.6.5/ jdk1.8.0_172/

在这里插入图片描述
开启slave1和slave2，将hadoop、jdk改为root

[root@slave1 src]# chown -R root:root jdk1.8.0_172

在这里插入图片描述
Slave2同理

（2）启动hadoop集群

然后，启动Hadoop集群

[root@master hadoop-2.6.5]# sbin/start-all.sh

启动完成后，查看hadoop集群状态

[root@master hadoop-2.6.5]# hadoop dfsadmin -report

在这里插入图片描述
这个位置没有出现Safe model is ON，则已关闭安全模式，可以启动Hive。若有则说明正在开启安全模式，不能启动Hive，需要等待一会儿或者手动关闭安全模式。

命令 hadoop fs -safemode get 查看安全模式状态

命令 hadoop fs -safemode enter 进入安全模式状态

命令 hadoop fs -safemode leave 离开安全模式

Hadoop安全模式

（3）替换hadoop中的jar包

由于hadoop 2.6.5和hive 1.2.2中的jline包版本不一致，因此需要替换。

删除hadoop-2.6.5/share/hadoop/yarn/lib中的jline-0.9.94.jar
在这里插入图片描述

[root@master apache-hive-1.2.2-bin]# rm $HADOOP_HOME/share/hadoop/yarn/lib/jline-0.9.94.jar

然后，将hive中的jline-2.12.jar放到hadoop-2.6.5/share/hadoop/yarn/lib使Hadoop和Hive里的jar版本保持一致。

[root@master apache-hive-1.2.2-bin]# cp lib/jline-2.12.jar $HADOOP_HOME/share/hadoop/yarn/lib/

在这里插入图片描述

（4）启动Hive

最后，进入到hive目录里开启hive

[root@master apache-hive-1.2.2-bin]# bin/hive

在这里插入图片描述
测试一下

hive> show databases;

在这里插入图片描述
若觉得太慢可以更改hive-site.xml中的内容来提升速度
退出Hive

hive> exit;

编辑conf/hive-site.xml

[root@master apache-hive-1.2.2-bin]# vim conf/hive-site.xml

将一部分内容注释掉

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>hdfs://master:9000/hive/warehouse</value>
    </property>
    <property>
        <name>hive.exec.scratchdir</name>
        <value>hdfs://master:9000/hive/tmp</value>
    </property>
    <property>
        <name>hive.querylog.location</name>
        <value>/usr/hive/log</value>
        <description>设置hive job日志存储位置</description>
    </property>
    <property>
        <name>hive.cli.print.header</name>
        <value>true</value>
        <description>设置列名</description>
    </property>
    <property>
        <name>hive.resultset.use.unique.column.names</name>
        <value>false</value>
        <description>增加列名可读性</description>
    </property>
<!--    
    <!-- flume to hive test-->
    <property>
        <name>hive.support.concurrency</name>
        <value>true</value>
        <description>是否支持并发，默认是false</description>
    </property>
    <!--
             <property>
        <name>hive.txn.manager</name>
        <value>org.apache.hadoop.hive.ql.lockmgr.DbTxnManager</value>
        <description>打开一部分事务支持协同配置</description>
    </property>
    -->
    <property>
        <name>hive.compactor.initiator.on</name>
        <value>true</value>
        <description>运行启动程序和清除线程,用于打开所需参数的完整列表事务</description>
    </property>
    <property>
        <name>hive.compactor.worker.threads</name>
        <value>1</value>
        <description>增加工作线程的数量将减少花费的时间</description>
    </property>
    <property>
        <name>hive.enforce.bucketing</name>
        <value>true</value>
        <description>是否启用bucketing，写入table数据</description>
    </property>
    <property>
        <name>hive.exec.dynamic.partition.mode</name>
        <value>nonstrict</value>
        <description>设置动态分区模式为非严格模式</description>
    </property>
-->    
</configuration>

在这里插入图片描述
在这里插入图片描述
将这部分内容注释掉，然后再启动Hive进行测试
在这里插入图片描述
性能提升了1s左右

辰阳星宇
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
在CentOS7中安装Hive1.2.2
04-06
"在 CentOS 7 中安装 Hive 1.2.2" Hive 是基于 Hadoop 的数据仓库工具，用于数据分析和查询。下面是安装 Hive 1.2.2 在 CentOS 7 中的步骤。 准备安装文件 首先，需要在 Windows 中下载 Hive 1.2.2 安装文件，...
Centos7.3安装Redis4.0.6详细图文教程
09-09
本教程将详细讲解如何在CentOS 7.3上安装Redis 4.0.6。 首先，开始前确保你的系统是最新的，通过运行以下命令更新系统： ```bash sudo yum update -y ``` 接着，我们需要安装一些必要的依赖。Redis的编译和安装需要...
在CentOS 7 中安装Hive-1.2.2
雨落i的博客
04-06 480
安装Hive之前，需要在CentOS 7中先安装MySQL！
CentOS7详细安装教程--图文介绍超详细
小小张自由—>张有博
09-10 12万+
本文超详细的将CentOS 7的安装过程做了详细的记录，从下载镜像文件到安装CentOS再到最后的配置，手把手教学，保证能够顺利的将CentOS安装好、配置好。
CentOS 7 MySql&Hive 1.2.2安装
yalongwan01的专栏
07-28 1739
第一部分：MySql安装         1. 下载mysql的repo源         wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm         安装mysql-community-release-el7-5.noarch.rpm包         sudo rpm -ivh mysql-comm...
CentOS 7安装教程（图文详解）
热门推荐
招牌DBA
03-26 68万+
CentOS 7安装教程：   准备： 软件：VMware Workstation 镜像文件：CentOS-7-x86_64-bin-DVD1.iso （附：教程较为详细，注释较多，故将操作的选项进行了加粗字体显示。）   1、文件--新建虚拟机--自定义 2、...
Centos7搭建Hive1.2.2（包括安装mysql及启动hive遇到的坑）
Yage的博客
04-12 2133
安装mysql Centos7默认的是 Mariadb而不是mysql，将mysql数据库软件从默认的程序列表中移除，用mariadb代替了。如果使用以下命令安装，则安装mysql-server失败： #yum install mysql #yum install mysql-server 查看是否安装mysql，结果返回空值： [root@master mysql]# rpm -qa | gre...
centos7下安装Hive+mysql
wangning0714的博客
03-31 3140
背景：已经安装hadoop集群，在hadoop基础上安装hive，继而安装mysql，通过jdbc使hive连接mysql库。后续实验可以尝试hive连接到postgres或者oracle等常用数据库。Hive的使用依赖于Hadoop，本质上是将hql发送给hadoop，hadoop中将hql转换为MapReduce进行任务的执行。故而Hive的安装需要Hadoop处于运行状态。
centos7上hive3.1.3安装及配置
君临天下tjm的博客
09-05 1499
数据仓库工具hive的详细搭建流程。
CentOS7集群安装Hive
浩瀚蓝天dep的博客
12-13 2341
说明： 1.提前安装好hadoop,参考：CentOS7搭建hadoop集群 2.在node3上安装好Mysql，参考：CentOS7安装Mysql数据库 3.下载hive安装包，本文使用的版本是2.1.0，下载地址 4.准备好mysql驱动包 hive安装在集群的node3机器上 1.上传并解压 1.1新建目录 mkdir -p /develop/software mkdir -p /develop/server 1.2上...
VMware 安装 Centos7（超详细教程）
学海无涯的博客
06-08 9万+
VMware安装CentOS很简单？？？
centos 7 安装配置方法图文教程
09-15
《CentOS 7 安装配置方法图文教程详解》 CentOS 7 是一款广泛使用的开源操作系统，尤其在服务器领域备受欢迎。本文将详细讲解如何下载并安装 CentOS 7，包括选择合适的镜像类型、虚拟机安装步骤以及系统的初步配置...
CentOS6.6详细安装教程（图文教程）
09-15
这篇教程详细阐述了如何在虚拟机VMware中安装该版本的操作系统。以下是安装步骤的详细解析： 1. **下载ISO镜像**：首先，你需要从官方或者镜像站点下载CentOS 6.6的ISO映像文件。 2. **创建虚拟机**：使用VMware...
VMware14 上安装CentOS 7 图文教程
09-30
本文给大家详细介绍了如何在VMware14 上安装CentOS 7的详细的图文教程，并附上了安装包，有需要的小伙伴可以来参考下
Hadoop、Hive、HBase、数据集成、Scala阶段测试
m0_58050808的博客
07-24 1322
ResourceManager 是 YARN 架构中的核心组件之一，负责接收客户端提交的作业（如 MapReduce 任务、Spark 任务等），并为这些作业分配资源（如内存、CPU）以在集群中的 NodeManager 上执行。spark的任务调度流程：driver端，遇到action算子触发任务执行，将任务提交到有向无环图，DAGscheduler中，根据RDD的血缘关系划分划分stage，将RDD中的分区封装成taskset任务，发送到TASKscheduler。
CentOS 7中安装Redis
z的博客
07-24 514
daemonize 的值从 no 修改成 yes（Redis服务默认是前台运行，需要修改为后台运行）（2）关闭防火墙，简单粗暴，但是一般这种操作用的比较多，但是生产环境下，不是很推荐直接关闭，会有安全风险。进入之后将以下信息复制进去：（注意ExecStart的内容为你们自己的redis.conf文件的路径）（1）给防火墙增加端口号，让防火墙对于指定的端口号不再进行拦截，类似白名单。搜索功能：/+要搜索的内容，n：下一个搜索结果，N：上一个搜索结果。可以启动的时候不写redis.conf的全限定名称。
2024浙江省行政区划矢量图层-省市县乡镇四级行政区划数据下载-带python代码
最新发布
08-02
2024最新浙江省行政区划矢量图层数据，包含省、市、县、乡镇四级行政区划数据下载，附带shp转geojson的python代码
年度销售计划表.xlsx.xlsx
08-01
销售统计，调查问卷，库存明细，跟进表，业绩统计表，差异分析 ，产品清单 适用人群：学习不同技术领域的小白或进阶学习者；可作为毕设项目、课程设计、大作业、工程实训或初期项目立项。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

辰阳星宇

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值