大数据组件-Hive部署基于MySQL作为元数据存储

最新推荐文章于 2024-03-14 07:00:00 发布
最新推荐文章于 2024-03-14 07:00:00 发布
阅读量88 收藏
点赞数
分类专栏： 面试 学习路线 阿里巴巴 文章标签： hive mysql big data spring boot intellij-idea
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67401270/article/details/125399134
版权
本文详细介绍了如何在大数据环境中部署Hive，并将MySQL作为Hive的元数据存储。首先，讲解了MySQL的安装和配置，包括设置新密码和允许远程访问。接着，重点讲述了Hive的安装过程，特别是如何配置Hive以使用MySQL作为Metastore，并解决可能遇到的问题。最后，讨论了通过HiveJDBC进行连接和访问Hive的方法。
摘要由CSDN通过智能技术生成

在这里插入图片描述

???博主介绍：大家好，我是，一名在校大学生，热爱分享知识，很高兴在这里认识大家??
??擅长领域：Java、大数据、运维、电子
???如果本文章各位小伙伴们有帮助的话，??关注+???点赞+??评论+??收藏，相应的有空了我也会回访，互助！！！
??另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！

文章目录

MySQL安装
  • 准备如下安装包
    1. MySQL-client-5.6.24-1.el6.x86_64.rpm
    2. mysql-connector-java-5.1.27.tar.gz
    3. MySQL-server-5.6.24-1.el6.x86_64.rpm
最低0.47元/天 解锁文章
是啥东西呢
关注
专栏目录
使用mysql作为hive的元数据库
liangtingac的专栏
11-28 1950
1.hive下载安装 2.下载mysql安装 3.以root用户进入mysql命令行：mysql -uroot -p（提示输入密码） 4.创建hive的元数据库：create database metahive【元数据库名metahive】 5.创建hive用户：create user hive@‘%’ identified by ‘hive’（hive@‘%’代表可以远程登录）【mysq
Hive集成Mysql作为元数据
weixin_33912445的博客
03-04 184
默认情况下，Hive元数据保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。为了支持多用户多会话，则需要一个独立的元数据库，我们使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持，配置一个独立的元数据库需要增加以下几步骤:第一步:安装MySQL服务器端和MySQL客户端,并启动MySQL服务。此步省略，具体请看http://www.cnblog...
Hive 基于 MySQL安装
qq_40727267的博客
09-04 185
安装MySQL 下载MySQL 找到对应的rpm-bundle.tar安装包下载即可，比如我下载的是mysql-5.7.27-1.el7.x86_64.rpm-bundle.tar 检查原系统中的mariadb，并删除它 rpm -qa|grep mariadb rpm -e mariadb-libs-1:5.5.56-2.el7.x86_64 --nodeps 解压MySQL安装包 t...
大数据学习18：Hive在mysql的元数据表的关系和含义
ggwxk1990的博客
10-05 1660
在大数据中，很多情况下是将hive的元数据存放在mysql数据库中，通过hive配置的连接字符串：                        javax.jdo.option.ConnectionURL                jdbc:mysql://localhost:3306/hive3?createDatabaseIfNotExist=true         能确认连
大数据平台-Hive培训.pdf
03-03
2. **Metastore组件**：元数据服务，存储关于Hive表、分区、列等的所有元数据。元数据通常存储在关系数据库中，如Derby或MySQL。为了提高服务的健壮性，Hive支持将Metastore服务独立出来，部署在远程服务器集群上。 ...
大数据系列-Hive入门与实战.pptx
01-05
3. **元数据管理**：Hive使用元数据来描述数据库、表、列、分区等信息，这些元数据通常存储在关系数据库（如MySQL或Derby）中。 4. **数据分区**：通过数据分区，Hive可以提高查询效率，因为只处理需要的数据部分而...
apache-hive-2.3.9-bin.tar大数据HIVE.zip
10-08
元数据可以存储在本地MySQL或远程数据库中，以便多个Hive实例共享。 3. **Hive SQL（HQL）**：HQL是Hive提供的SQL方言，用于查询和管理数据。它支持SELECT、INSERT、UPDATE、DELETE等基本操作，以及JOIN、GROUP BY...
hive（1）——用mysql进行元数据存储
weixin_48445640的博客
10-10 404
Hive可以将结构化的数据映射为一张数据表 而默认hive进行存储的数据库是derby 启动我们的hadoop服务 当我们安装好hive后，要将mysql-connector-java-xx.jar的文件包放到hive目录下的lib文件夹下： 这时候我们还需要配置相关的文件才能激活mysql数据库，我们到conf目录下的hive-site xml，设定几个mysql的相关部分： mysql用户名称： mysql用户密码： 指定端口地址： 指定用mysql驱动： 启动完本机的mysql后，输入hiv
基于Hive安装MySQL
superXZT的博客
11-14 289
Hive安装(基于MySQL，用yum安装) ---------------------------------------------     1.验证Centos是否安装MySQL        $>yum list installed | grep mysql     2.删除MySql        $>yum –y remove mysql-libs.X86_64      ...
Hive 使用 MySql 作为元数据的存储方式
qq_39116472的博客
07-09 371
由于默认的 Derby 数据库是内存数据库并且如果多个实例操作的时候产生报错，所以我们需要更换元数据的存储方式。由于 链接 需要用到链接的驱动，我们需要预先准备好 的 包使用 的包管理工具检测如果上一步检测到存在，则需要卸载之前的安装首先我们要下载上传到 服务器 的安装包解压成功以后我们需要进行 rpm 的安装，安装命令如下解压成功以后我们可以修改一下名字方便操作和识别 的链接库我们肯定是要给 的，我这边是 8.0 版本的 数据库，所以我这边使用了 8.0 新的链接库把链接库放入到 hiv
hive设置mysql作为元数据库
lklong123的专栏
11-20 311
安装hive,mysql略，主要记录一下问题 1.mysql无法远程的问题 现象如下   根据网上博客设置root的host为%，设置的截图如下，设置方式为，以root@localhost的方式登录，执行下面的三条命令   use mysql;update user set host = '%' where user = 'root';flush privileges;   ...
hive的安装之（使用mysql作为元数据信息存储）
weixin_43924642的博客
04-26 1019
网址对应的下载 下载之后上传到linux的主机 解压hive cd /export/softwares tar -zxvf hive-1.1.0-cdh5.14.0.tar.gz -C …/servers/ 直接启动 bin/hive cd …/servers/ cd hive-1.1.0-cdh5.14.0/ bin/hive hive> create database mytes...
Hive 搭建（将 MySQL 作为元数据库）
JIE的博客 --- moon_coder
10-25 9755
安装 Hive 之前请先确保你当前已经安装好了 Hadoop，并且运行正常。
HIVE安装系列之二：配置HIVE(用Mysql作为元数据仓库)
zhangyu404的专栏
02-10 1022
Hive里面应用Derby作为元数据仓库metastore，这是在软件中已经实现了的， 但是Derby有自身的缺点：只支持一个链接。所以必须要用mysql作为元数据仓库。 在combanc03上安装hive，在combanc05上安装mysql，这样可以让mysql允许远程访问。 具体安装mysql过程请参见mysql笔记本中的《在Linux中安装mysql》
Hive：基于MySQL的Hive安装搭建、Hive JDBC访问(hiverserver2和beeline)
Jodness' Blogs
07-13 868
目录 1、基于MySQL的Hive安装搭建 1.1、Hive安装 1.2、MySql安装 1.2.1、在线模式 1.2.2、离线安装Mysql 1.3、Hive设置使用MySQL 2、Hive JDBC访问 2.1、hiverserver2 2.2、beeline 2.3、配置 1、基于MySQL的Hive安装搭建 1.1、Hive安装 Hive的安装比较简单，解压...
hive集成MySql数据库
lxn的专栏
01-27 1132
hive集成MySql数据库
Hive和MySQL的部署、配置Hive元数据存储到MySQL、Hive服务的部署
最新发布
2301_78038072的博客
03-14 2872
Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务来执行。Hive 定义了一种简单的类 SQL 查询语言，称为 HQL（Hive Query Language），它允许熟悉 SQL 的用户查询数据。
Hive大数据仓库安装与部署详解（2020年版）
在这种模式下，Hive需要一个独立的元数据库，通常选择MySQL作为元数据存储。有两类安装方式： - **本地模式**: 在本地机器上安装MySQL，用作元数据存储。 - **远程模式**: MySQL安装在远程服务器上，用于分布式...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值