Hive安装-环境搭建

本文档详细介绍了在Hadoop集群环境下安装Hive的步骤,包括下载Hive 2.3.7,配置环境变量,准备MySQL环境,修改hive-site.xml,复制MySQL驱动,创建Hive数据库,初始化schema,启动Hive服务以及处理配置中${system:java.io.tmpdir}的绝对路径问题。
摘要由CSDN通过智能技术生成
准备

并没有集群一说, 只要Hadoop以集群的模式运行, Hive就可以在Hadoop集群中运行。Hive 是基于 Hadoop 的一个数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供完整的 SQL 查询功能,将类 SQL 语句转换为 MapReduce 任务执行。
Hive的下载地址
http://mirror.bit.edu.cn/apache/hive/

这里使用的版本是apache-hive-2.3.7-bin.tar.gz

环境准备

hadoop-2.7.3
三台机器:
master 、slave1、slave2
解压

tar -zxvf apache-hive-2.3.7-bin.tar.gz 
ln -s apache-hive-2.3.7-bin hive-2.3.7

设置环境变量

export HIVE_HOME=/home/hadoop/hive-2.3.7
PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$HIVE_HOME/bin

准备mysql的环境

配置hive
1. 修改hive-site.xml
cp hive-default.xml.template hive-site.xml
vi hive-site.xml
修改如下四项的内容
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>mysql.用户名</value>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>mysql.密码</value>
    </property>
   <property>
        <name>javax.jdo.option.ConnectionURL</name>mysql
        <value>mysql.url</value>
    </property>
    <property>
        <name>javax.jdo
### 回答1: apache-hive-3.1.2-bin.tar.gzApache Hive的二进制安装包。Apache Hive是一个基于Hadoop的数据仓库工具,可以将结构化数据映射到Hadoop上,并提供SQL查询和数据分析功能。该二进制安装包包含了Hive的所有运行时文件和依赖库,可以方便地进行安装和部署。 ### 回答2: apache-hive-3.1.2-bin.tar.gzApache Hive的一个版本,它是一个基于Hadoop的数据仓库和查询工具。Hive是一个开源的数据仓库工具,它提供了类似于SQL的查询语言,使用户能够使用简单的SQL查询Hadoop集群中的数据。 apache-hive-3.1.2-bin.tar.gzHive的二进制发布文件,通过下载和解压该文件,可以在Hadoop集群上安装和运行Hive。它包含了运行Hive所需的所有二进制文件、配置文件和库文件。 Hive可以将结构化数据映射为表,并提供了类似于SQL的查询语言- HiveQL,使用户可以使用熟悉的SQL语法对数据进行查询和分析。HiveHiveQL查询转换为MapReduce或Tez任务,然后在Hadoop集群上执行这些任务。这样,用户无需编写复杂的MapReduce程序,就可以利用Hadoop的强大的并行处理能力进行数据分析。 Hive还支持用户自定义函数、用户自定义聚合函数和用户自定义运算符,使用户能够根据自己的需求扩展Hive的功能。此外,Hive还提供了用于数据导入和导出的命令和工具,支持各种数据格式,如文本、CSV、JSON等。 总之,apache-hive-3.1.2-bin.tar.gzApache Hive的一个发行版本,通过安装和配置它,用户可以在Hadoop集群上使用Hive来进行数据仓库和查询操作,让用户能够更方便地利用Hadoop进行大数据分析和处理。 ### 回答3: Apache Hive 是一个建立在 Hadoop 之上的数据仓库基础结构,它提供了一种以类似于 SQL 的查询语言来进行数据分析和数据查询的方式。而 apache-hive-3.1.2-bin.tar.gzApache Hive 的一个二进制发行版本。 在 apache-hive-3.1.2-bin.tar.gz 这个压缩文件中,包含了 Hive 的所有二进制文件和必要的依赖库。通过下载并解压这个压缩包,你就可以在你的系统上快速部署和使用 Hive。 解压后的文件夹结构通常如下: - `bin` 文件夹:包含了 Hive 所有可执行文件,比如用于启动 Hive Shell 的 `hive` 命令。 - `conf` 文件夹:存放了 Hive 的配置文件,包括 Hive 的元数据存储位置、Hadoop 集群的配置等。 - `lib` 文件夹:包含了 Hive 的依赖库文件,这些库文件是 Hive 运行所需的。 - `examples` 文件夹:提供了一些 Hive 的示例查询和数据样例,方便用户了解和学习 Hive 的使用方法。 apache-hive-3.1.2-bin.tar.gzHive 在 3.1.2 版本的二进制发行包。版本号中的 3.1.2 表示这个发行版是在 Hive 的主版本号 3 下的次要版本号为 1,次次要版本号为 2 的版本。这个版本通常包含了以往版本的修复 bug、增加新功能等改进。 因此,如果你想在你的系统上开始使用 Hive 进行数据仓库的工作,你可以下载 apache-hive-3.1.2-bin.tar.gz 这个发行版,并按照官方文档的指引来进行部署和配置,然后就可以开始编写和执行 Hive 查询了。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值