Hadoop高手之路--09--Hive的三种安装配置

最新推荐文章于 2023-05-16 20:00:00 发布
最新推荐文章于 2023-05-16 20:00:00 发布
阅读量3.7k 收藏 7
点赞数
分类专栏： hadoop 大数据 文章标签： hive hadoop big data 大数据 mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kc44601/article/details/122686781
版权

Hive的三种安装配置(本人常用第三种远程模式安装)

一. 在所有节点下修改好core-site.xml文件配置

在这里插入图片描述
代码如下:

<!-- 整合hive -->
	<property>
		<name>hadoop.proxyuser.root.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.root.groups</name>
		<value>*</value>
	</property>

二. 内嵌模式安装

1) 上传安装包

在这里插入图片描述

2) 解压并改名

tar zxvf apache-hive-3.1.2-bin.tar.gz

在这里插入图片描述

mv apache-hive-3.1.2-bin hive

在这里插入图片描述

3) 解决hadoop、hive之间guava版本差异

删除19.0版本的guava

cd /export/server/hive
rm -rf lib/guava-19.0.jar

在这里插入图片描述
把hadoop安装包下的guava复制到删除的文件目录下

cp /export/server/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

在这里插入图片描述

4) 修改hive环境变量文件 添加Hadoop_HOME

进入配置文件

cd /export/server/hive/conf/

在这里插入图片描述
将模板文件修改一份

mv hive-env.sh.template hive-env.sh

在这里插入图片描述

修改配置文件

vi hive-env.sh

在这里插入图片描述
添加下面的内容(和自己的配置一致)

export HADOOP_HOME=/export/servers/hadoop-3.1.4
export HIVE_CONF_DIR=/export/servers/hive/conf
export HIVE_AUX_JARS_PATH=/export/servers/hive/lib

在这里插入图片描述

5) 初始化metadata

cd /export/servers/hive
bin/schematool -dbType derby -initSchema

在这里插入图片描述
在这里插入图片描述

6) 启动hive服务

记得先启动hdfs和yarn
并且关闭安全模式

hdfs dfsadmin -safemode leave

在这里插入图片描述

bin/hive

在这里插入图片描述
启动运行成功
在这里插入图片描述
注意：Hive3版本需要用户手动进行元数据初始化动作。内嵌模式下，判断是否初始化成功的依据是执行命令之后输出信息和执行命令的当前路径下是否有文件产生。
在这里插入图片描述

三. 本地模式安装

1) mysql安装

已经安装过,此步骤略过.

2) 上传安装包并删除内嵌模式安装的hive

在这里插入图片描述

3) 解压并改名

cd /export/servers/
tar zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive

在这里插入图片描述
在这里插入图片描述

4) 解决hadoop、hive之间guava版本差异

cd /export/servers/hive
rm -rf lib/guava-19.0.jar
cp /export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

在这里插入图片描述

5) 添加mysql jdbc驱动到hive安装包lib/文件下

在这里插入图片描述

6) 修改hive环境变量文件 添加Hadoop_HOME

修改配置文件名字

cd /export/servers/hive/conf/
mv hive-env.sh.template hive-env.sh

在这里插入图片描述
对其修改

vim hive-env.sh

在这里插入图片描述

export HADOOP_HOME=/export/servers/hadoop-3.1.4
export HIVE_CONF_DIR=/export/servers/hive/conf
export HIVE_AUX_JARS_PATH=/export/servers/hive/lib

在这里插入图片描述

7) 新增hive-site.xml 配置mysql等相关信息

vi hive-site.xml

在这里插入图片描述
加入以下内容

<configuration>
    <!-- 存储元数据mysql相关配置 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value> jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>Root123!</value>
    </property>

    <!-- 关闭元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>

    <!-- 关闭元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
</configuration>

8) 初始化metadata

cd /export/servers/hive
bin/schematool -initSchema -dbType mysql -verbos

在这里插入图片描述
在这里插入图片描述
初始化成功会在mysql中自动创建hive数据库和74张表

在这里插入图片描述

9) 启动hive服务

记得先启动hdfs和yarn
并且关闭安全模式

hdfs dfsadmin -safemode leave

在这里插入图片描述

bin/hive

在这里插入图片描述
启动成功并且可以正常操作
在这里插入图片描述

3. 远程模式安装(我习惯用这种方式)

1) 解压并改名

在这里插入图片描述
在这里插入图片描述

2) 解决hadoop、hive之间guava版本差异

cd /export/servers/hive
rm -rf lib/guava-19.0.jar
cp /export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

在这里插入图片描述

3) 添加mysql jdbc驱动到hive安装包lib/文件下

在这里插入图片描述

4) 修改hive环境变量文件 添加Hadoop_HOME

cd /export/servers/hive/conf/
mv hive-env.sh.template hive-env.sh

在这里插入图片描述

vi hive-env.sh

在这里插入图片描述

export HADOOP_HOME=/export/servers/hadoop-3.1.4
export HIVE_CONF_DIR=/export/servers/hive/conf
export HIVE_AUX_JARS_PATH=/export/servers/hive/lib

在这里插入图片描述

5) 新增hive-site.xml 配置mysql等相关信息

vi hive-site.xml

在这里插入图片描述

<configuration>
    <!-- 存储元数据mysql相关配置 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value> jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>Root23!</value>
    </property>

    <!-- H2S运行绑定host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop01</value>
    </property>

    <!-- 远程模式部署metastore 服务地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop01:9083</value>
    </property>

    <!-- 关闭元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>

    <!-- 关闭元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
</configuration>

6) 初始化metadata

cd /export/servers/hive
bin/schematool -initSchema -dbType mysql -verbos

在这里插入图片描述
在这里插入图片描述
初始化成功会在mysql中创建74张表
在这里插入图片描述

7) 前台启动 关闭ctrl+c

/export/servers/hive/bin/hive --service metastore

在这里插入图片描述
克隆一个会话重新启动

/export/servers/hive/bin/hive

在这里插入图片描述

在这里插入图片描述

8) 后台启动 进程挂起 关闭使用jps + kill

#输入命令回车执行 再次回车 进程将挂起后台

nohup /export/servers/hive/bin/hive --service metastore &

在这里插入图片描述
日志输出到了如下文件中

在这里插入图片描述
再次启动hive
在这里插入图片描述
在这里插入图片描述
退出时记得kill掉后台进程

在这里插入图片描述

9) 前台启动开启debug日志

/export/servers/hive/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console

四. 将hive安装到hadoop03

1) 将安装包上传

在这里插入图片描述

2) 解压改名

在这里插入图片描述
在这里插入图片描述

3) 解决hadoop、hive之间guava版本差异

cd /export/servers/hive
rm -rf lib/guava-19.0.jar
cp /export/servers/hadoop-3.1.4/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

在这里插入图片描述

4) 修改hive环境变量文件 添加Hadoop_HOME

cd /export/servers/hive/conf
mv hive-env.sh.template hive-env.sh

在这里插入图片描述

vi hive-env.sh

在这里插入图片描述

export HADOOP_HOME=/export/servers/hadoop-3.1.4
export HIVE_CONF_DIR=/export/servers/hive/conf
export HIVE_AUX_JARS_PATH=/export/servers/hive/lib

在这里插入图片描述

5) 新增hive-site.xml 配置mysql等相关信息

vi hive-site.xml

在这里插入图片描述
添加以下信息

<configuration>
    <!-- 远程模式部署metastore 服务地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop01:9083</value>
    </property>
</configuration>

在这里插入图片描述

6) 启动hive(Hadoop01的 metastore服务必须开启)

在这里插入图片描述
测试,发现成功同步
在这里插入图片描述

五. bin/beeline客户端的使用

1) 在matestore服务的基础上启动hiveserver2

/export/servers/hive/bin/hive --service hiveserver2

在这里插入图片描述
注意hiveserver启动后需要等一会儿才能使用,这一点比较难受

2) 启动beeline

/export/servers/hive/bin/beeline

无日志启动

/export/servers/hive/bin/beeline --hiveconf hive.server2.logging.operation.level=NONE

设置本地运行避免小数据通过mr处理缓慢

set hive.exec.mode.local.auto=true;

在这里插入图片描述

! connect jdbc:hive2://hadoop01:10000

在这里插入图片描述
测试,成功运行
并且发现beeline客户端还可以打印日志信息
在这里插入图片描述

落空空。
关注
专栏目录
Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数
段智华的博客
02-18 3386
Spark 2.2.1 + Hive 案例之不使用现有的Hive环境；使用现有的Hive数据仓库；UDF自定义函数   Spark SQL支持读写存储在Apache Hive中的数据。在Spark 2.2.1中，不需要显式地创建SparkContext、SQLContext、HiveContext实例，其已经封装在SparkSession中。 Spark 2.2.1中的 SparkSession...
hadoop下Hive的嵌入模式和本地模式安装
weixin_54028135的博客
04-08 3581
文章目录版本情况：一、Hive的嵌入模式安装原因分析：二、Hive的本地模式安装 版本情况： apache-hive-1.2.1-bin.tar mysql-connector-java-5.1.40.tar ubuntu 16.04 相关软件网盘链接 链接：https://pan.baidu.com/s/15z2WOY_LHe4R7WdXjgq3dA 提取码：0830 –来自百度网盘超级会员V1的分享 一、Hive的嵌入模式安装 默认Hive利用内置的derby数据库进行元数据存储，但derby仅支持单例
CentOS7安装Hadoop集群完整步骤
weixin_55076626的博客
05-26 1万+
1. 安装3台centos7服务器 1.1.配置名字hadoop01\hadoop02\hadoop03 hostnamectl set-hostname hadoop01 hostnamectl set-hostname hadoop02 hostnamectl set-hostname hadoop03 1.2.修改hosts文件 vi /etc/hosts 文件末尾添加以下内容： hadoop01的ip地址 hadoop01 hadoop02的ip地址 hadoop02 ha
大数据技术之Hadoop学习(七)——Hive数据仓库
weixin_63507910的博客
01-12 2749
Hive数据仓库的认识与操作
hive的安装,启动,连接操作(最详细解决方案,直接按着操作即可)
weixin_59295776的博客
09-15 1万+
hive的安装 1. 修改 hadoop的 core-site.xml中, 添加以下内容: #修改hadoop 配置文件 etc/hadoop/core-site.xml,加入如下配置项:<property> <name>hadoop.proxyuser.root.hosts</name> <value>*</value></property><property> <name>hadoop....
hadoop集群部署之集群配置（三）
traveler-leon的博客
08-06 1994
集群节点布置方案 我会按照以上表格的表格进行集群节点的布置。 关于以上的节点是什么意义，请看第一篇所讲的基础内容，这里只做简单的说明： HDFS层面 DataNode：具体的存储节点 NameNode:可理解为管理整个存储的目录，也就是哪个文件存到了具体的哪个DataNode上 SecondaryNameNode：对NameNode的备份，防止挂掉 Yarn层面 NodeManager：具体的资源管理节点 ResourceManager：总的资源管理节点 最后再强调一点内容，就是标红色的节点不能布置到同一
Hadoop DataNode配置全解析：新手到高手的进阶之路
[Hadoop DataNode配置全解析：新手到高手的进阶之路](https://i-blog.csdnimg.cn/direct/910b5d6bf0854b218502489fef2e29e0.png) # 1. Hadoop DataNode入门知识 ## 1.1 DataNode简介 Hadoop DataNode是Hadoop分布式...
大数据-什么是Hadoop？Hadoop的起源与国内应用、Hadoop作为插件在eclipse中的使用
weixin_47055922的博客
08-20 5743
一、hadoop简介 一、概述 Hadoop是Apache提供的一个开源的、可靠的、可扩展的系统架构，可以利用分布式架构来进行海量数据的存储以及计算。 需要注意的是Hadoop处理的是离线数据，即在数据已知以及不要求实时性的场景下使用。 二、版本 Hadoop1.0：只包含HDFS以及MapReduce两个模块 Hadoop2.0：完全不同于1.0的架构，包含HDFS、MapReduce以及Yarn三个模块 Hadoop3.0：包含HDFS、MapReduce、Yarn、Ozon..
支持自动化Hadoop安装部署的研究.pdf
09-14
Hadoop安装的关键一步是修改一系列的XML配置文件，这包括HDFS、MapReduce、Hive和Hbase等。这些配置文件的修改是复杂且容易出错的，任何一个小错误都可能导致系统无法启动。为了简化这个过程，文章提出使用Java语言...
《Hadoop》之"踽踽独行"（五）Hadoop简介及其Hadoop生态系统
从明老师的博客
01-04 827
一、Hadoop出现的原因 现在的我们，生活在数据大爆炸的年代。国际数据公司已经预测在2020年，全球的数据总量将达到44ZB，经过单位换算后，至少在440亿TB以上，也就是说，全球每人一块1TB的硬盘都存储不下。 一些数据集的大小更远远超过了1TB，也就是说，数据的存储是一个要解决的问题。同时，硬盘技术也面临一个技术瓶颈，就是硬盘的传输速度(读数据的速度)的提升远远低于硬盘容量的提升。我们看...
Hive安装配置
welcome to zdsg's csdn
09-08 286
1.hive的元数据存储 derby:hive内置数据库,存储量小,只支持单session mysql(支持jdbc的关系型数据库),存储量大,支持多session 2.hive的安装 2.1自带derby 2.1.1 解压 安装包 tar -zxvf apache-hive-1.2.1-bin.tar.gz -C /opt/app 2.1.2重命名 cd /opt/app mv apa...
Hive环境搭建_远程部署
qq_43389032的博客
07-29 755
此时ZK和hadoop集群应该还在启动检查启动后在浏览器输入node19870查看安全模式是否为off,如果为SafemodeisON.则输入强制关闭然后输入以下命令,创建目录并设置权限要先启动ZK和hdoophive-site.xml中要输入自己的mysql用户名和密码创建目录时确保SafemodeisOFF启动hiveserver2后要等2分钟输入!hive2//node110000后不用输密码直接回车httpshttps。...
【大数据】 Hive安装 【学习笔记】
weixin_46703850的博客
04-05 2183
【大数据】 Hive安装 【学习笔记】
【hive】hive的安装配置，beeline使用（1）
hx1156477702的博客
10-03 2408
hive的安装配置，beeline使用
hive（一）hive的安装与基本配置
热门推荐
L缶神的博客
04-11 2万+
一、前提： 安装hive所需要的虚拟机环境为虚拟机安装有Hadoop并且集群成功，同时Hadoop需要在启动状态下，同时需要安装有mysql。不需要有zookeeper和HA，由于HA中含有大量进程，启动会占用很多资源，建议不要有HA 二、安装步骤： 1、上传jar包至/usr/local/soft 将hive-3.1.2上传到虚拟机中的/usr/local/soft目录下 2、解压并重命名 tar -zxvf apache-hive-3.1.2-bin.tar.gz # 重命名 mv ap
基于zookeeper的Hadoop集群搭建详细步骤
雷神乐乐的博客
02-15 3151
基于zookeeper搭建Hadoop集群
Hadoop之Hive
fang19970714的博客
05-06 465
数据仓库 数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。数据仓库是存数据的，企业的各种数据往里面存，主要目的是为了分析有效数据，后续会基于它产出供分析挖掘的数据，或者数据应用需要的数据，如企业的分析性报告和各类报表等。可以理解为： 面向分析的存储系统 。 当企业需要对不同来源、不同形式、不同主题的数据整合起来，供给数据分析、数据挖掘、数据报表使用时，有这么一个中间层将各种原始数据科学地加工处理成下游需要的样子。这个中间层就是数据仓库产生价值的地方 主要特征 数据仓库是面向主题的、集成
HIVE以及OOZIE添加第三方JAR包的方法
kobi23的博客
08-10 1204
HIVE以及OOZIE添加第三方JAR包的方法
hive安装及配置
最新发布
weixin_45012397的博客
05-16 1858
通过这次体验我们发现,Hive底层的确是通过MapReduce执行引擎来处理数据的执行完一个MapReduce程序需要的时间不短.如果是小数据集，使用hive进行分析将得不偿失，延迟很高.如果是大数据集，使用hive进行分析，底层MapReduce分布式计算,才能体现效果.通过执行的日志我们发现,这条语句会转换为MR程序运行,执行时间很长.如果使用mysql的话是毫秒级别就可以执行完,但是使用hive会发现要执行很长时间.(本地MR大概要几秒,如果提交到Yarn上要几十秒);
Hadoop-HBase-Hive集群安装配置实战指南
"这份文档详细介绍了在Hadoop2.4、Hbase0.98和Hive环境下构建集群的步骤和配置，适用于初学者。它涵盖了从基础的硬件配置到各个组件的安装与运行，包括Zookeeper、HDFS、YARN以及HBase和Hive的集群设置。" 在构建一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值