在HADOOP上安装Hive

最新推荐文章于 2024-06-06 12:31:34 发布
最新推荐文章于 2024-06-06 12:31:34 发布
阅读量350 收藏 1
点赞数 1
文章标签： hive hadoop 数据仓库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ruyasuih/article/details/127945986
版权
本文档详细介绍了如何在CentOS7系统上安装Hive前先卸载MariaDB，然后安装MySQL，包括各个rpm包的安装步骤，启动并配置MySQL服务，设置远程登录权限。接着，下载Hive并进行解压，将jar包放入Hive的lib目录，创建Hive数据库，并编写hive-site.xml配置文件，最后添加环境变量并验证Hive安装。
摘要由CSDN通过智能技术生成

在安装Hive之前需要先安装Mysql

Cent OS7自带MariaDB将其删除

rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

下载mysql和hive

链接：https://pan.baidu.com/s/1XubZJobahCTeZB28YGnODQ?pwd=ruya 
提取码：ruya 
下载后安装winscp

使用winscp将mysql和hive上传到/opt/software路径下

在/opt/module路径下新建一个mysql目录

cd /opt/module

mkdir mysql

解压mysql

cd /opt/software

 tar -xvf mysql-5.7.25-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql

进入mysql目录

cd /opt/module/mysql

先安装mysql-community-common-5.7.25-1.el7.x86_64.rpm

rpm -ivh mysql-community-common-5.7.25-1.el7.x86_64.rpm

最低0.47元/天 解锁文章
Ruyasuih
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大数据Hive（二）：Hive的三种安装模式和MySQL搭配使用
Lansonli（蓝深李）的博客
06-11 5250
全网最详细的Hive文章系列，强烈建议收藏加关注！ 后面更新文章都会列出历史文章目录，帮助大家回顾知识重点。 目录 历史文章 前言 Hive的三种安装模式和MySQL搭配使用 一、Hive的安装方式 1、内嵌模式 2、本地模式 3、远程模式 二、Hive的安装 1、准备工作 2、安装mysql数据库 3、安装Hive 三、Hive的交互方式 第一种交互方式：bin/hive 第二种交互方式：使用sql语句或者sql脚本进行交互 第三种交互方式：Beeline Clien.
Hadoop上安装Hive的压缩包
12-14
现在我们来详细探讨在Hadoop上安装Hive的过程及相关知识点。 首先，我们需要了解Hive的基本结构。Hive由几个主要部分组成：Hive Metastore、Hive Server、Hive CLI、Hive Driver、Hive Executor等。Hive Metastore...
[Hadoop高可用集群]数仓工具之Hive的安装部署（超级详细，适用于初学者）
喜欢水星记的博客
05-15 4866
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。最初，Hive是由Facebook开发，后来由Apache软件基金会开发，并作为进一步将它作为名义下Apache Hive为一个开源项目。Hive 建立在Hadoop 基础之上,Hive 与 Hadoop 紧密集成，其设计可快速对 PB 级数据进行操作。
Hadoop 之 Hive安装
03-06 1097
Hadoop 之 Hive安装
Hadoop安装Hive
最新发布
m0_74258479的博客
06-06 611
如果以上步骤都能成功运行，说明 Hive 安装和配置完成，可以开始使用 Hive 进行大数据分析了。确保你的系统已经安装了 Java JDK（推荐使用 JDK 1.8 版本）。如果还没有安装 Hadoop，可以参考以下简要步骤安装 Hadoop。将 Hadoop 目录移动到合适的位置（例如。将 Hive 目录移动到合适的位置（例如。编辑 Hadoop 的配置文件（
Hadoop生态系统—数据仓库Hive的安装
小鱼吃猫
10-17 1027
Hive最初是Facebook开发的一款用来SQL分析的应用，它是建立在Hadoop文件系统上的数据仓库，能够对存储在HDFS中的数据进行数据提取、转换和加载（ETL），这是一种可以存储、查询、分析存储在Hadoop中的大规模数据的机制。Hive定义了简单的类SQL查询语言，简称HQL。但Hive并不是一个数据库，它只是提供了和数据库相类似的查询语言。其实他是用来执行简化MapReduce操作的，可以解决很多MapReduce解决起来比较麻烦的事。
Hive安装详情
小五的世界
05-31 975
一、感性认知： 1.1数据库与数据仓库 数据库： mysql、oracle、sqlserver、DB2、sqlite、MDB 数据仓库： Hive，是MR的客户端，也就是说不必要每台机器都安装部署Hive 1.2本质是什么？ 理性认知： 1.3Hive的特性 （1）操作接口是采用SQL语法，HQL （2）避免了写MapReduce的繁琐过程 1.4Hive体系结构 （1）Client 终端命令行 JDBC – 不常用，非常麻烦（相对于前者） （2）metastore 原本的数据集和字段名称以及数据信息之间的
Hadoop集群搭建Hive的安装配置
12-23
本实验将指导你如何在已搭建的Hadoop集群上安装和配置Hive。 首先，你需要满足一定的实验环境要求，包括五台独立的PC式虚拟机，每台主机运行CentOS7-64位操作系统，且已完成Hadoop和MySQL的安装。在进行Hive的安装...
Hadoop之hive安装
04-28
在安装完hive后，我们需要修改配置文件。配置文件在hive主目录的conf文件夹下。我们需要添加如下信息，并继续使用cp命令产生hive-default.xml和hive-site.xml。 在 hive-site.xml 添加信息 在修改完配置文件后，...
从VMware中安装CentOS到Hadoop集群+ Hive+ MySQL搭建
08-11
适合新手，详细 01-Java环境安装 02- Eclipse下载与安装 03-VMware虚拟机的安装 04-在VMware中安装CentOS 05- Hadoop集群+ Hive+ MySQL搭建
hadoop3.0.3及hive2.3.5
07-05
里面是下载连接及提取码，如果有问题可以在下方回复！
hive安装需要安装mysql区别_Hive安装
weixin_33664191的博客
01-27 839
一、Hive安装环境装备安装JDK安装hadoop集群二、下载Hive安装包根据需要下载相应的版本，这里以hive-1.2.2为例。三、Hive安装包解压1.根据hadoop集群的系统资源消耗情况，选择进程消耗比较小的进行安装。这里以node2节点为例。hive安装包通过xshell中的xftp工具上传到node2上。2.解压hive安装包#1.把hive的压缩安装包解压到/opt/bigdata...
Hive与mysql的初识以及安装
weixin_44722717的博客
05-25 293
Hive提供了三种用户接口：CLI、HWI和客户端。客户端是使用JDBC驱动通过thrift，远程操作Hive。HWI即提供Web界面远程访问Hive。但是最常见的使用方式还是使用CLI方式。（在linux终端操作Hive） Hive有三种安装方式： 1、内嵌模式（元数据保村在内嵌的derby种，允许一个会话链接，尝试多个会话链接时会报错，不适合开发环境） 2、本地模式（本地安装mysql 替代d...
Hive安装与配置与mysql的安装
qq_46345319的博客
02-26 1373
此时需要查看下配置是否出错，在确认无误下。可能是JDBC版本与mysql版本不匹配了。可查看此文章：https://editor.csdn.net/md/?在Hadoop-2.7.3环境上部署Hive数据仓库，安装Hive需要apache-hive-2.1.1-bin.tar.gz软件包，在相关目录下解压软件包。注意：此处可能会遇到问题：Failed to get schema version。格式：yum -y remove [SQL名]格式：mv [原来的名字] [修改后的名字]
Hive安装部署
wnm23的专栏
03-26 924
hive安装部署
hive为什么选用mysql存储元数据
weixin_45737883的博客
12-10 1417
hive元数据存储为什么推荐在msql中而不是自带的derby中 Hive 将元数据存储在 RDBMS 中，一般常用 MySQL 和 Derby。默认情况下，Hive 元数据 保存在内嵌的 Derby 数据库中，只能允许一个会话连接，只适合简单的测试。实际生产环境中不适用， 为了支持多用户会话，则需要一个独立的元数据库，使用 MySQL 作为元数据库，Hive 内部对 MySQL 提供了很好的支持 内置的derby主要问题是并发性能很差，可以理解为单线程操作。 ...
Hadoop+Hive+MySQL（单机/本地模式）安装与配置
weixin_46409042的博客
11-01 1291
这是一个大数据基础的Hadoop单机模式以及hive安装部署教程
Linux虚拟机安装Hive(mysql安装)
平淡中造就不平凡
12-30 3078
Hive发展至今，总共历经了两代客户端工具第一代客户端（deprecated不推荐使用）：$HIVE_HOME/bin/hive, 是一个 shellUtil。主要功能：一是可用于以 交互或批处理模式运行Hive查询；二是用于Hive相关服务的启动，比如metastore服务。第二代客户端（recommended 推荐使用）：$HIVE_HOME/bin/beeline，是一个JDBC客户端，是官方推荐使用的Hive命令行工具，和第一代客户端相比，性能加强安全性提高。
Hadoop Hive概念学习系列之为什么Hive里，要用mysql？（四）
weixin_33868027的博客
09-10 1028
想说的是，hive只是个工具，包括它的数据分析，依赖于mapreduce，它的数据管理，依赖于外部系统。 　　 metastore_db，是在哪目录下运行，在哪里产生数据。 由此可见，你在哪路径下，执行hive指令，就在哪路径下生成metastore_db。建一套数据库文件，这样是极其不合适的，公司里每个人若不一样，则会...
hadoop集群安装hive
05-19
安装 Hive 需要先安装 Hadoop，因为 Hive 需要依赖于 Hadoop 文件系统和 MapReduce。下面是基于 Hadoop 2.x 版本的 Hive 安装步骤： 1. 下载 Hive 安装包并解压缩到指定目录： ``` tar -zxf apache-hive-x.x.x-bin.tar.gz sudo mv apache-hive-x.x.x-bin /usr/local/hive ``` 2. 配置环境变量： ``` export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin ``` 3. 修改 Hive 配置文件 hive-site.xml： ``` cd $HIVE_HOME/conf cp hive-default.xml.template hive-site.xml vi hive-site.xml ``` 在 hive-site.xml 文件中添加以下配置信息： ``` <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hive</value> <description>Username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hive</value> <description>Password to use against metastore database</description> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>Location of Hive warehouse directory</description> </property> <property> <name>hive.exec.local.scratchdir</name> <value>/tmp/hive</value> <description>Local scratch space for Hive jobs</description> </property> <property> <name>hive.querylog.location</name> <value>/var/log/hive</value> <description>Location of Hive query log</description> </property> <property> <name>hive.server2.enable.doAs</name> <value>false</value> <description>Enable impersonation for HiveServer2</description> </property> <property> <name>hive.server2.thrift.port</name> <value>10000</value> <description>TCP port number for HiveServer2</description> </property> </configuration> ``` 4. 修改 Hive 配置文件 hive-env.sh： ``` cd $HIVE_HOME/conf cp hive-env.sh.template hive-env.sh vi hive-env.sh ``` 在 hive-env.sh 文件中添加以下配置信息： ``` export HADOOP_HOME=/usr/local/hadoop export HIVE_CONF_DIR=/usr/local/hive/conf export HIVE_AUX_JARS_PATH=$HADOOP_HOME/share/hadoop/common/lib/mysql-connector-java-x.x.x.jar ``` 5. 启动 Hive 元数据存储服务： ``` schematool -initSchema -dbType mysql ``` 6. 启动 Hive 服务： ``` hive --service metastore & hive --service hiveserver2 & ``` 至此，Hive 部署完成。可以通过 `hive -e "show databases;"` 测试 Hive 是否正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值