Apache Hive安装部署

最新推荐文章于 2024-05-25 16:17:34 发布
最新推荐文章于 2024-05-25 16:17:34 发布
阅读量951 收藏
点赞数
分类专栏： # 大数据 文章标签： hive apache hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51882166/article/details/131212772
版权

Apache Hive安装部署

🚃Hive元数据

  • 描述数据的数据，主要描述数据属性信息，用来支持如指示存储位置，历史数据，资源查找，文件记录等功能。
  • 存储在关系型数据库中。如hive内置Derby，或第三方MySql
  • Metastore元数据服务。作用管理元数据，对外暴露服务。

在这里插入图片描述

metastore服务配置三种模式：

  • 内嵌模式
  • 本地模式
  • 远程模式

区分配置方式方法：

  • metastore是否需要单独配置，单独启动
  • metadaa存储在内置derby中，还是第三方RDBMS
内嵌本地远程
meta单独配置，启动否否是
metadata存储介质DerbyMysqlMysql

🚞部署实战

安装前准备：

  • Hive基于Hadoop，保证服务器基础环境正常
    • 集群时间同步，防火墙关闭，Host映射，免密登录，JDK安装
  • Hadoop集群健康可用
    • 等待HDFS安全模式关闭后再运行Hive

🏍️安装MySQL

  • MySQL只需一台机器安装并需要授权远程访问

  • 卸载CentOS7自带mariadb

    [root@node1 ~]# rpm -qa|grep mariadb
mariadb-libs-5.5.60-1.el7_5.x86_64
[root@node1 ~]# rpm -e mariadb-libs-5.5.60-1.el7_5.x86_64 --nodeps

[root@node1 ~]# rpm -qa|grep mariadb

  • 安装mysql

    [root@node1 ~]# mkdir /export/software/mysql
#上传mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar 到上述文件夹下  解压
[root@node1 ~]# ls /export/software/mysql/
mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar
[root@node1 ~]# cd /export/software/mysql/
[root@node1 mysql]# tar xvf mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar
mysql-community-embedded-devel-5.7.29-1.el7.x86_64.rpm
mysql-community-test-5.7.29-1.el7.x86_64.rpm
mysql-community-embedded-5.7.29-1.el7.x86_64.rpm
mysql-community-embedded-compat-5.7.29-1.el7.x86_64.rpm
mysql-community-libs-5.7.29-1.el7.x86_64.rpm
mysql-community-client-5.7.29-1.el7.x86_64.rpm
mysql-community-server-5.7.29-1.el7.x86_64.rpm
mysql-community-devel-5.7.29-1.el7.x86_64.rpm
mysql-community-libs-compat-5.7.29-1.el7.x86_64.rpm
mysql-community-common-5.7.29-1.el7.x86_64.rpm
#安装依赖
[root@node1 mysql]# yum -y install libaio
[root@node1 mysql]# yum install -y net-tools

#开始安装
[root@node1 mysql]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm

  • mysql初始化设置

    #初始化
mysqld --initialize

#更改所属组
chown mysql:mysql /var/lib/mysql -R

#启动mysql
systemctl start mysqld.service

#查看生成的临时root密码
cat  /var/log/mysqld.log
#临时密码大概在这个位置
...
2023-06-13T12:23:52.391426Z 1 [Note] A temporary password is generated for root@localhost:
...

  • 修改root密码 授权远程访问 设置开机自启动

    
mysql -u root -p#进入之后输入日志中生成的密码
#更新密码
mysql>  alter user user() identified by "hadoop";
Query OK, 0 rows affected (0.00 sec)

#权限赋予
mysql> use mysql;
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Database changed
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.00 sec)

mysql> exit
Bye


#mysql的启动和关闭 状态查看 
systemctl stop mysqld
systemctl status mysqld
systemctl start mysqld

#设置开机自启
systemctl enable  mysqld

  • 如果需要卸载请执行

    #关闭mysql服务
systemctl stop mysqld.service

#查找安装mysql的rpm包
[root@node1 ~]# rpm -qa | grep -i mysql      
mysql-community-libs-5.7.29-1.el7.x86_64
mysql-community-common-5.7.29-1.el7.x86_64
mysql-community-client-5.7.29-1.el7.x86_64
mysql-community-server-5.7.29-1.el7.x86_64

#卸载
[root@node1 ~]# yum remove mysql-community-libs-5.7.29-1.el7.x86_64 mysql-community-common-5.7.29-1.el7.x86_64 mysql-community-client-5.7.29-1.el7.x86_64 mysql-community-server-5.7.29-1.el7.x86_64

#查看是否卸载干净
rpm -qa | grep -i mysql

#查找mysql相关目录 删除
[root@node1 ~]# find / -name mysql
/var/lib/mysql
/var/lib/mysql/mysql
/usr/share/mysql

 rm -rf /var/lib/mysql
 rm -rf /var/lib/mysql/mysql
 rm -rf /usr/share/mysql

#删除默认配置 日志
rm -rf /etc/my.cnf 
rm -rf /var/log/mysqld.log

🛵安装Hive

  • 上传Hive安装包（node1安装即可）

    
[root@node1 server]# pwd
/export/server

[root@node1 server]# ls
apache-hive-3.1.2-bin.tar.gz  hadoop-3.3.0  jdk1.8.0_241
#解压
tar zxvf apache-hive-3.1.2-bin.tar.gz

  • 解决Hive和Hadoop之间guava版本差异

    cd /export/server/apache-hive-3.1.2-bin/
rm -rf lib/guava-19.0.jar
cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

  • 修改配置文件

    • hive.env.sh

      cd /export/server/apache-hive-3.1.2-bin/conf
mv hive-env.sh.template hive-env.sh

vim hive-env.sh
export HADOOP_HOME=/export/server/hadoop-3.3.0
export HIVE_CONF_DIR=/export/server/apache-hive-3.1.2-bin/conf
export HIVE_AUX_JARS_PATH=/export/server/apache-hive-3.1.2-bin/lib

    • hive-site.xml

      vim hive-site.xml

      <configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
	<name>javax.jdo.option.ConnectionURL</name>
	<value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
</property>

<property>
	<name>javax.jdo.option.ConnectionDriverName</name>
	<value>com.mysql.jdbc.Driver</value>
</property>

<property>
	<name>javax.jdo.option.ConnectionUserName</name>
	<value>root</value>
</property>

<property>
	<name>javax.jdo.option.ConnectionPassword</name>
	<value>hadoop</value>
</property>

<!-- H2S运行绑定host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
</property>

<!-- 远程模式部署metastore metastore地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
</property>

<!-- 关闭元数据存储授权  --> 
<property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>
</configuration>

  • 上传mysql jdbc驱动到hive安装包lib下

    
[root@node1 conf]# cd /export/server/apache-hive-3.1.2-bin/lib/
[root@node1 lib]# ls -aux | grep mysql-connector
mysql-connector-java-5.1.32.jar

  • 初始化元数据

    cd /export/server/apache-hive-3.1.2-bin/

bin/schematool -initSchema -dbType mysql -verbos

  • hdfs创建hive存储目录（存在不操作）

    hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
🛹启动

  • 启动metastore服务

    #前台启动  关闭ctrl+c
/export/server/apache-hive-3.1.2-bin/bin/hive --service metastore

#前台启动开启debug日志
/export/server/apache-hive-3.1.2-bin/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console  

#后台启动 进程挂起  关闭使用jps+ kill -9
nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service metastore &

🚂客户端启用

Hive自带客户端：

  • bin/hive

  • bin/beeline

  • 在安装hive服务器上，首先启动metastore，然后启动hieserver2

      nohup /export/server/apache-hive-3.1.2-bin/bin/hive --service hiveserver2 &

  • beeline客户端连接

    • 拷贝node1安装包到beeline客户端机器（node3）

      scp -r /export/server/apache-hive-3.1.2-bin/ node3:/export/server/

    • node3使用bin/hive连接服务
      在这里插入图片描述

    • node3使用bin/beeline连接服务

在这里插入图片描述

在这里插入图片描述

Dean.song
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Apache Hive详解
wudidahuanggua的博客
09-21 1644
hive详细介绍
hive的安装部署
qq_68611510的博客
02-28 366
hive安装部署（详）
Apache Hive 概述
跑调却靠谱的博客
09-15 1983
Apache Hive是一款建立在Hadoop之上的开源数据仓库系统，可以将存储在Hadoop文件中的结构化、半结构化数据文件映射为一张数据库表，基于表提供了一种类似SQL的查询模型，称为Hive查询语言（HQL），用于访问和分析存储在Hadoop文件中的大型数据集。Hive核心是将HQL转换为MapReduce程序，然后将程序提交到Hadoop群集执行Hive由Facebook实现并开源。
Hive2.3.9配置与安装
yyyyy666_111的博客
06-27 800
将当前路径切换到hive的配置文件路径：cd $HIVE_HOME/conf（如果直接执行进不去这个目录，可以先进入主目录 cd /usr/local，再切换到conf目录。6.Driver上交plan给执行器去执行，获取元数据信息，提交给JobTracker或者ResourceManager去处理该任务，任务会直接读取HDFS中文件进行相应的操作。下载hive2.3.9的安装包（apache-hive-2.3.9-bin.tar.gz），点击下面的链接下载自己需要的版本。
Apache Hive 安装与配置的详细教程
最新发布
majingbobo的博客
05-25 1360
Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。
TDengine在Apache Hive中的探索和实践
cyh的博客
04-29 817
前言 随着TDengine产品的名气越来越广，为了实现降本增效，公司最近将底层的时序数据库引擎由Opentsdb换成了TDengine Hive对JDBC的实现 Hive对TDengine的实现 遇到的问题 总结
apache-hive-1.2.1
12-11
这份文档可能涵盖了从环境准备、依赖库安装到Hive服务启动的全过程，对于初学者或者需要在新环境中部署Hive的人来说非常有价值。 2. "apache-hive-1.2.1-bin.tar.gz"：这是Apache Hive 1.2.1的二进制发行版，包含了...
apache-hive的安装与配置
05-28
以下是对“apache-hive的安装与配置”的详细讲解。 **1. 安装前准备** 在开始安装 Hive 之前，你需要确保已经安装了以下组件： - Java Development Kit (JDK)：Hive 需要 Java 环境支持，确保你的系统上已经安装了 ...
apache-hive-2.3.0-bin.tar.gz
01-05
在这个"apache-hive-2.3.0-bin.tar.gz"压缩包中，包含了Apache Hive 2.3.0版本的所有二进制文件，用于在Linux系统上部署和运行。 **Hive的主要组件和功能：** 1. **元数据存储**：Hive将元数据（如表结构、分区...
apache-hive-2.3.9-bin.tar大数据HIVE.zip
10-08
了解了这些核心概念后，你可以开始在Hadoop环境中部署和配置Hive 2.3.9。通常，这包括下载解压`apache-hive-2.3.9-bin.tar.gz`，配置环境变量，创建metastore服务，以及初始化Hive库。一旦设置完成，你就可以通过...
apache-hive-3.1.2-bin.tar.gz
06-24
这种压缩包通常包含Hive的可执行文件、库文件、配置文件以及必要的脚本，用于在Linux或Unix环境中快速部署和运行Hive服务。 描述中提到的“为解决hive安全问题，重新编译hive源码升级jetty到9.4.24.v20191120”是一...
apache-hive-2.0.0
03-24
apache hive的源码，学习大数据的小白可以用来参考和学习。
Apache Hive安装部署详细图文教程
Stars.Sky 的博客
09-20 1306
Apache Hive安装部署详细图文教程
大数据：Apache hive分布式sql计算平台，hive架构，hive部署，hive初体验
weixin_46838716的博客
06-02 545
大数据：Apache hive分布式sql计算平台，hive架构，hive部署，hive初体验
大数据开发教程——Apache Hive基础
qq_42285599的博客
06-13 696
Hive是Hadoop下的顶级 Apache项目，早期的Hive开发工作始于2007年的 Facebook。 它可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 Hive的优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析
Apache Hive的部署与体验
ichterry的专栏
03-25 459
Apache Hive部署与体验
Hive的安装与配置详解
xx961782936的博客
10-16 4106
Hive的安装与配置详解
大数据开发之Apache Hive
weixin_44244088的博客
07-31 469
ApacheHive是一款建立在hadoop生态之上的开源数据仓库系统，可以把储存在Hadoop文件中结构化，半结构化得到数据文件映射成一张数据库表，然后基于数据库表提供一种类似SQL的查询模型，也叫Hive查询语言，简称HQL；然后是Hive的核心就是把HQL转化成MapReduce程序，然后把转化后的MapReduce程序提交到Hadoop集群执行作为一款数据仓库软件，最起码要有这个数据存储和数据分析的能力；Hive借助hadoop来实现。.........
hive的安装、部署和配置
05-10
Hive 是一个基于 Hadoop 的数据仓库工具，它提供了一个 SQL 式的查询语言来查询存储在 Hadoop 分布式文件系统中的数据。下面是 Hive 的安装、部署和配置流程： 1. 安装 Java Hive 是基于 Java 开发的，所以需要先安装 Java。可以从 Oracle 官网下载 Java 并安装。 2. 安装 Hadoop Hive 是基于 Hadoop 的，所以需要先安装 Hadoop。可以从 Apache 官网下载 Hadoop 并安装。 3. 下载并安装 Hive 可以从 Apache 官网下载 Hive，并解压到本地目录中。然后将解压后的 Hive 目录拷贝到 Hadoop 的安装目录下的 /usr/local 目录下。 4. 配置 Hive （1）修改 Hive 配置文件 进入 Hive 的 conf 目录，将 hive-default.xml.template 复制一份并重命名为 hive-site.xml。然后修改 hive-site.xml 文件中的以下参数： ``` <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore</value> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> </property> ``` 这些参数是 Hive 的元数据存储配置。这里使用 MySQL 数据库作为元数据存储。 （2）配置环境变量 在 ~/.bashrc 中添加以下环境变量： ``` export HADOOP_HOME=/usr/local/hadoop export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin ``` （3）创建 Hive 元数据库 使用以下命令创建 Hive 的元数据库： ``` mysql> CREATE DATABASE metastore; mysql> USE metastore; mysql> SOURCE /usr/local/hive/scripts/metastore/upgrade/mysql/hive-schema-3.1.2.mysql.sql; ``` 5. 启动 Hive 使用以下命令启动 Hive： ``` hive ``` 如果一切正常，会进入到 Hive 的 CLI 中。现在就可以使用 SQL 语句查询 Hadoop 分布式文件系统中的数据了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值