大数据 - HIVE3.1.0元数据服务(二)

元数据服务?

元数据服务也就是HiveMetastore服务,客户端先连接HiveMetastore服务,HiveMetastore服务再去连接元数据存储的数据库,从而获取相关元数据信息。HiveMetastore服务实际上就是一种Thrift服务,通过它我们可以获取到HIVE元数据,并且通过Thrift方式获取元数据的方式,屏蔽了数据库访问需要驱动/URL/用户名/密码等细节。

元数据存储在哪里?

HIVE将元数据存储在关系数据库中(MySql、Derby),元数据包括数据库信息及表的信息如:表的属性、表的名称、表的列、分区及其属性等。
支持的存储媒介:https://cwiki.apache.org/confluence/display/Hive/AdminManual+Metastore+3.0+Administration
在这里插入图片描述

元数据服务的启动方式?

在这里插入图片描述
(1)嵌入模式:该方式一次只能有一个进程连接到MetaStore,Hive客户端直接通过JDBC访问MetaStore,只能使用内置的Derby;
(2)本地模式:该方式一次只能有一个进程连接到MetaStore,Hive客户端直接通过JDBC访问MetaStore,可以使用其他的RDBMS或者内置的Derby;
(3)远程模式:使用远程的RDBMS来作为存储(典型的就是MySQL),用于生产环境。HiveMetastore通过Thrift方式提供服务,客户端通过HiveMetastore服务获取元数据。

元数据服务的核心配置?

(1)javax.jdo.option.ConnectionURL:JDBC连接信息。比如使用Derby时的值可以为jdbc:derby:;databaseName= ../build/test/junit_metastore_db;create=true;使用MySQL时的值可以为:jdbc:mysql://<host name>/<database name>?createDatabaseIfNotExist=true
(2)javax.jdo.option.ConnectionDriverName:JDBC驱动类名。Derby模式下值为org.apache.derby.jdbc.EmbeddedDriver, MySQL为com.mysql.jdbc.Driver;
(3)hive.metastore.uris:如果为空则表示为Local模式,否则为Remote模式;
(4)hive.metastore.warehouse.dir:默认表的位置。

<think>好的,用户现在问的是如何下载Apache Hive 3.1.2的进制包,也就是apache-hive-3.1.2-bin.tar.gz。之前他问过MySQL Connector/J的下载方法,现在转到Hive,可能他在搭建大数据环境,需要用到Hive作为数据仓库工具。我需要先确认用户的需求,可能他需要这个特定版本,或者遇到兼容性问题,所以必须用3.1.2版本。 首先,我应该提供官方下载途径,确保安全可靠。Apache的官方镜像可能有多个,但用户可能需要具体的镜像地址。记得之前回答MySQL时提到了历史版本归档,这里Hive的情况类似,但需要访问Apache的官网或镜像站。 用户可能对镜像地址不太熟悉,需要给出具体的步骤。比如访问Apache Hive的官网,找到下载页面,然后选择合适的镜像站点。国内用户可能访问官方主站速度慢,所以推荐国内的镜像,比如清华大学的镜像源,这样下载速度更快。 另外,用户可能需要校验文件的完整性,特别是从非官方镜像下载时,校验SHA-512或MD5是必要的。Apache通常会在下载页面提供这些校验值,或者提供asc签名文件,用GPG验证。这部分需要详细说明,确保用户下载的文件没有被篡改。 还要考虑用户是否知道如何安装和配置Hive,是否需要简要的安装步骤。虽然用户的问题只是下载,但提供后续步骤可能对用户有帮助,特别是如果他们不熟悉的话。比如解压、配置环境变量、依赖Hadoop等。 另外,需要注意Hive的版本与Hadoop版本的兼容性。Hive 3.1.2可能需要特定版本的Hadoop,用户如果已经安装了某个Hadoop版本,可能需要确认兼容性,避免出现运行时错误。这也是用户可能遇到的问题之一,所以在回答中可以提到这一点,提醒用户注意。 用户可能是在搭建大数据平台,涉及到多个组件,比如Hadoop、Hive、MySQL(之前的Connector/J问题),所以需要确保各个组件之间的版本兼容。比如Hive元数据存储通常使用MySQL或PostgreSQL,所以用户可能已经配置了MySQL,现在需要Hive来操作数据仓库。 还有,用户可能对Maven依赖有需求,特别是如果他们使用Java项目,可能需要通过Maven引入Hive的依赖。虽然用户问的是下载进制包,但提供Maven坐标可能也有帮助,尤其是如果他们需要开发Hive相关的应用。 最后,应该提醒用户关于版本过时的问题,Hive 3.1.2发布于2020年,可能已经有更新的版本,存在安全漏洞或功能改进。如果用户没有特殊需求,建议升级到最新稳定版,但如果有兼容性要求,则需要继续使用旧版。 总结回答结构:官方下载步骤、镜像地址、校验方法、安装步骤、版本兼容性提醒、注意事项。确保信息准确,步骤清晰,帮助用户顺利完成下载和安装,同时预防可能遇到的问题。</think>以下是获取 `apache-hive-3.1.2-bin.tar.gz` 的正规途径及注意事项: --- ### 一、官方下载渠道 1. **访问Apache Hive官网** 官网下载页面: ``` https://hive.apache.org/downloads.html ``` 2. **查找历史版本** - 点击页面中的 *"Release Archive"* 链接 - 或直接访问历史版本存档: ``` https://archive.apache.org/dist/hive/ ``` 3. **定位具体版本** 逐层进入路径: ``` hive-3.1.2/apache-hive-3.1.2-bin.tar.gz ``` --- ### 、国内镜像加速(推荐) **清华大学镜像站** 下载地址: ``` https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz ``` --- ### 三、校验文件完整性 1. **获取校验文件** 从同目录下载 `.sha512` 文件: ``` apache-hive-3.1.2-bin.tar.gz.sha512 ``` 2. **校验命令** ```bash # Linux/Mac shasum -a 512 apache-hive-3.1.2-bin.tar.gz # Windows certUtil -hashfile apache-hive-3.1.2-bin.tar.gz SHA512 ``` 3. **比对结果** 需与 `.sha512` 文件中的哈希值完全一致 --- ### 四、安装依赖说明 1. **Hadoop环境** Hive 3.1.2 需要与 Hadoop 2.x/3.x 兼容(建议 Hadoop 3.1.0+) 2. **Java要求** JDK 1.8 或更高版本 --- ### 五、注意事项 1. **版本过时提醒** Hive 3.1.2 发布于 2020 年,最新稳定版为 3.1.3(2023年更新),建议评估升级必要性 2. **安全建议** 避免从非官方站点下载进制文件 3. **兼容性验证** 若需对接其他组件(如Spark、HBase),需确认版本兼容性 --- 如果需要具体安装配置步骤,可告知后续需求。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cloneme01

谢谢您的支持与鼓励!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值