HIVE学习系列——windows Hadoop安装（下）

已于 2022-05-06 16:05:40 修改
阅读量2.4k 收藏 10
点赞数
分类专栏： 数据库基操 文章标签： hive hadoop 学习
于 2022-05-04 23:50:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jh_210/article/details/124466118
版权

文章目录

1 整体流程概览

系统：windows10
下载hive --> MySQL配置 --> hive配置 --> 进入hive
前排提示，没有看上篇的朋友们可以先看上篇~
大佬们有相关编写建议也可以多多指导！

  • ！！！原版本采用hadoop3.2.3与hive3.1.3，但在执行至hive --service metastore时报错，主要因为hadoop与hive版本不匹配，导致jdbc在连接至数据库时发生错误。5.1假期追剧太狠，😔 所以先更换版本为hadoop2.7.7与hive2.1.1！！！
  • 教程中路径还须修正，主要是版本号的对应
  • 周末上传安装过程中使用到的各项安装包

2 HIVE下载

hive官网地址依次选择downloads，Download a release now!

在这里插入图片描述
点击链接，进入下载界面
在这里插入图片描述
选择自己需要的版本
在这里插入图片描述
选择bin.tar.gz文件进行下载
在这里插入图片描述
解压tar.gz文件到指定目录，这里贴上解压的路径，方便后续参考：D:\hive\hive\apache-hive-3.1.3-bin
该部分解压时目前没有用到管理员身份，有需要的朋友们可以参考winrar管理员身份解压
在这里插入图片描述

3 MySQL（免安装版，zip格式解压直用）

很早之前机试需要，在PC上搭建过MySQL，但不确定，因此这里检查一下。

3.1 系统中是否存在MySQL

win + R输入services.msc

在这里插入图片描述
发现系统中已安装MySQL，强迫症原因同时为了文章的完整性，这里个人选择卸载重装，感兴趣的朋友可以浏览、收藏一下MySQL卸载流程

3.2 MySQL下载

MySQL官网地址

在这里插入图片描述
直接下载即可，完成后解压至与Hive相同的路径下，方便后续管理与操作

3.3 MySQL初始化

  1. 解压完成后，win + s输入cmd，右击后选择以管理员方式打开，随后进入到MySQL的bin目录下

在这里插入图片描述

  1. 初始化数据库：mysqld --initialize --console，这里生成的密码需要先记一下，这里的冒号也是密码的一部分

在这里插入图片描述

  1. 使用MySQL安装windows服务：mysqld -install，随后使用net start mysql启动MySQL服务

在这里插入图片描述
win + R输入services.msc，发现已经存在
在这里插入图片描述

  1. 使用步骤2中记忆的密码登录数据库：mysql -u root -p

在这里插入图片描述

  1. 修改密码：alter user 'root'@'localhost' identified by 'new_password';，首先分号不能忘记，其次新密码要加引号

在这里插入图片描述

  1. 查看端口号：show global variables like 'port';

在这里插入图片描述

3.4 MySQL其它配置（选做）

3.4.1 系统变量配置

配置完成后可在cmd中直接进入mysql，无需cd至指定bin目录下，先配置系统变量

在这里插入图片描述
配置环境变量
在这里插入图片描述
验证配置结果，win + r输入cmd，输入mysql -u root -p，可正常运行即算成功

3.4.2 端口配置文件

文件夹路径：D:\hive\hive\mysql-8.0.29-winx64

  1. 打开文件名拓展

在这里插入图片描述

  1. 新建txt文件，重命名为my.ini

在这里插入图片描述

  1. 编辑my.ini文件内容如下：（port那里可以设置为其它，验证文件是否生效，默认3306）
[mysqld]
character-set-server=utf8mb4
bind-address=0.0.0.0
port=3308
default-storage-engine=INNODB
[mysql]
default-character-set=utf8mb4
[client]
default-character-set=utf8mb4
port=3308
  1. net stop mysql、net start mysql重启MySQL，cmd中输入show global variables like 'port';验证端口已修改成功

在这里插入图片描述

4 下载MySQL驱动

MySQL驱动官网
下载完成后解压至hive同路径处

在这里插入图片描述
将D:\hive\hive\mysql-connector-java-8.0.11\下的.jar拷贝至D:\hive\hive\apache-hive-3.1.3-bin
在这里插入图片描述

5 hive配置

5.1 hive变量配置

首先配置系统变量
在这里插入图片描述
随后配置环境变量
在这里插入图片描述
这里不明白如何打开的朋友请参考上篇安装教程中的环境配置哦

5.2 hive其它配置

5.2.1 config文件

路径：D:\hive\hive\apache-hive-3.1.3-bin\conf，将图中箭头所示文件复制一份，去掉.template后缀

在这里插入图片描述

5.2.2 文件夹创建

在这里插入图片描述

D:\hive\hive\apache-hive-3.1.3-bin\my_hive
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\operation_logs_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\querylog_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\resources_dir
D:\hive\hive\apache-hive-3.1.3-bin\my_hive\scratch

5.2.3 hive-env.sh文件配置

文件路径：D:\hive\hive\apache-hive-3.1.3-bin\conf
在这里插入图片描述

5.2.4 hive-site.xml配置

文件路径：D:\hive\hive\apache-hive-3.1.3-bin\conf，不存在的话复制hive-default.xml即可

  1. scratch路径设置：D:\hive\hive\apache-hive-3.1.3-bin\my_hive\scratch_dir，复制下面的内容，Ctrl + f搜索即可
hive.exec.local.scratchdir
  1. resources路径设置：D:\hive\hive\apache-hive-3.1.3-bin\my_hive\resources_dir

在这里插入图片描述

  1. querylog路径设置：D:\hive\hive\apache-hive-3.1.3-bin\my_hive\querylog_dir，复制下面的内容，Ctrl + f搜索即可
hive.querylog.location

在这里插入图片描述

  1. querylog路径设置：D:\hive\hive\apache-hive-3.1.3-bin\my_hive\operation_logs_dir，复制下面的内容，Ctrl + f搜索即可
hive.server2.logging.operation.log.location

在这里插入图片描述

5.2.5 hive-site.xml中sql相关配置

mysql配置情况：
账户：root
密码：自设
端口：3308

  1. sql账户设置，复制下面的内容，Ctrl + f搜索即可
javax.jdo.option.ConnectionUserName

在这里插入图片描述

  1. sql密码设置，复制下面的内容，Ctrl + f搜索即可
javax.jdo.option.ConnectionPassword

在这里插入图片描述

  1. sql端口设置，复制下面的内容，Ctrl + f搜索即可
javax.jdo.option.ConnectionURL

在这里插入图片描述

5.3 hadoop创建hdfs目录

  1. 启动hadoop，以管理员身份运行cmd，切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下，输入start-all.cmd，随后输入jps查看服务启动情况
  2. 创建文件夹
    相关操作在切换至指定目录后可直接cv
hadoop fs -mkdir /tmp
hadoop fs -mkdir /user/
hadoop fs -mkdir /user/hive/
hadoop fs -mkdir /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse

在这里插入图片描述

创建完毕后记得将命令提示符窗口全部叉掉，否则后续报错

6 点火，发射！

6.1 创建mysql数据库

使用mysql创建一个数据库（在完成本文3.4的基础上）

create database if not exists ds_name default character set latin1;
--ds_name为自行指定的dataset名
--指令输入时切记还有分号

在这里插入图片描述

6.2 启动hadoop

  • 以管理员身份运行cmd，切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下，输入start-dfs.cmd
  • 继续输入指令hive --service metastore
  • 以管理员身份运行cmd，输入hive.cmd，即可进入hive环境

在这里插入图片描述

附：报错记录

  • 报错'hive' 不是内部或外部命令，也不是可运行的程序，原因是hive3.0+的\bin文件夹下缺少相关cmd文件

解决方法：使用Github中大佬整理好的bin包，解压后将D:\hive\hive\Hive-cmd-master\bin中的文件复制到D:\hive\hive\apache-hive-3.1.3-bin\bin即可
在这里插入图片描述
在这里插入图片描述

  • 运行指令hive --service metastore报错

在这里插入图片描述
解决方法：hive-site.xml文件的错误，在百度上google了一下，注释掉这段（文件路径：D:\hive\hive\apache-hive-3.1.3-bin\conf）
没有自带行号的朋友可以复制下面内容直接搜索：hive.txn.xlock.iow
在这里插入图片描述

  • 运行指令hive --service metastore报错

在这里插入图片描述
解决方法：缺少jdbc驱动，感谢大佬指路，下载jdbc包然后拷贝至D:\hive\hive\apache-hive-3.1.3-bin\lib即可，再次运行指令hive --service metastore（此时已来到Hive环境配置的第3天）

  • 报错Could not connect to address ... RSA public key is not available client side...

解决方法：修改MySQL认证方式，感谢大佬指路

  1. HIVE学习系列——windows Hadoop安装（上）
  2. 重要参考，感谢大佬指路
KoenigseggH
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive环境安装
qq_34391750的博客
07-12 1936
hive环境安装
HDFS-Spark-Hudi环境的搭建及测试
老张的哲学
07-10 1137
由于需要进行Hudi的详细选型，本文从0开始搭建一个Spark+Hudi的环境，并进行简单使用。1）假设在Linux进行环境安装，操作系统选择Ubuntu 22.04 LTS版本。2）Ubuntu的源配置清华源。3）JDK安装完毕（当前是1.8版本，1.8.0_333）。 2.2 localhost免密登录 3. Hadoop安装 Hadoop安装的是单节点伪分布式环境，版本选择和后继的Spark选择有关联。例如：Hadoop 3.2.3Hudi当前支持的是Spark3.2，对应的Spark也是3.2。1
在Windows上安装Hadoop和Hive
weixin_44424296的博客
02-21 2301
在Windows上安装Hadoop3.1.3和Hive3.1.2准备资源JDK安装MySQL安装Hadoop的安装Hive的安装测试Hive 　　最近需要使用大数据平台，装了1天的hadoop和hive，终于装好了，不得不说网上的攻略千奇百怪，需要结合各种攻略才能完成安装（悲催），因此写下这边文章来汇总下如何在windows系统中安装hadoop和hive，希望对各位有帮助。 准备资源 1.JDK8：Hadoop和Hive都是依赖于JAVA开发出来的，JDK的安装是必不可少的，需要注意的是（重点）高版本的J
项目实践---Windows11中安装Zookeeper/Hadoop/Hive
最新发布
qq_40623672的博客
05-31 1119
Windows11中安装Hadoop/Hive
Hadoop2.9.2+hive2.3.4 windows下安装及报错解决
a1041646584的博客
03-11 2911
参考文章 https://blog.csdn.net/csdn_fzs/article/details/78985586 http://www.cnblogs.com/yifengjianbai/p/8260064.html 准备文件 apache-hive-2.3.4-bin.tar.gz hadoop-2.9.2.tar.gz 自行官网下载 其他人共享的hadoop和hive在w...
HIVE学习系列——windows Hadoop安装（上）
KH的博客
04-27 2818
文章目录Hadoop安装HIVE MySQL版本安装 Hadoop安装 Hadoop官网 点击Download 选择Binary download下的最新版本即可 Source Distribution 表示源代码版，需要编译后使用 Binary Distribution 表示可执行版，直接解压使用 点击该条链接进行压缩包下，下载结果如图所示： 下载完成后解压到指定目录即可。（这里需要以管理员方式运行~ windows中管理员方式解压文件） HIVE MySQL版本安装 ...
win10搭建Hadoop3.2.2和HBase2.3.5单机版
liu320yj的博客
06-13 2343
1.Hadoop与HBase版本对应关系 在安装Hadoop和HBase时需要适配合适的版本，根据HBase的版本选择相应的Hadoop版本。Hadoop和HBase不同适配版本如下图： 更多详情访问官网 2.安装Hadoop 确定好Hadoop版本后先下载 2.1.下载Hadoop 直接访问官网 Hadoop下载地址 3.安装HBase 确定HBase版本后下载 3.1.下载HBase 直接访问官网HBase下载地址 ...
hadoop完全分布式搭建(2)
小生不才的博客
07-10 243
hadoop-3.2.3/etc/hadoop/core-site.xml hadoop-3.2.3/etc/hadoop/hdfs-site.xml hadoop-3.2.3/etc/hadoop/yarn-site.xml hadoop-3.2.3/etc/hadoop/yarn-site.xml hadoop-3.2.3/etc/hadoop/workers 主机名称后不能有空格 分发workers 在hadoop2上启动YARN.........
windows下安装hadoop的依赖库winutils
03-09
在Windows环境下搭建Hadoop分布式框架时，一个必不可少的步骤就是安装Hadoop的依赖库——WinUtils。这个库是Hadoop在Windows系统上运行所必需的，因为它提供了与Linux系统中`hadoop`命令类似的功能。本文将详细介绍...
hadooponwindows-master
06-06
有些时候，我们想在自己电脑windows系统上使用hadoop，这样省去了建虚拟机的麻烦——虚拟机会占用更多电脑系统资源。 如果你也想在自己电脑的windows系统上使用hadoop，那就需要这个包来支持 否则windows系统无法...
hadoop-windows本地库版
05-26
总之，"hadoop-windows本地库版"为Windows用户提供了一种方便的方式来部署和使用Hadoop，它简化了在非Unix系统上的安装过程，使大数据处理的技术门槛降低，对于学习和实践Hadoop技术的开发者来说，无疑是一份宝贵的...
spark-3.0.0-bin-hadoop3.2
02-17
在本场景中，我们讨论的是Spark的3.0.0版本，与Hadoop3.2相结合的二进制发行版——"spark-3.0.0-bin-hadoop3.2"。这个压缩包是为了在Windows操作系统下运行Spark而设计的，因此标签明确指出它是适用于Windows平台的...
apache-hive-2.1.1-bin.tar.gz下的bin文件夹，包含hive.cmd
02-11
Hive构建在Hadoop之上，它提供了一个SQL-like的查询语言——HiveQL，使得非Java背景的开发人员也能方便地进行大数据操作。在你提到的"apache-hive-2.1.1-bin.tar.gz"压缩包中，`bin`文件夹是Hive的可执行文件目录，...
Windows下配置hadoop环境
子清的博客
09-04 288
1.解压hadoop包到一个win目录 这里hadoop包需要管理员权限才能解压，只需要用管理员身份运行解压软件，然后再打开压缩包就可以解压了 2.把hadoop-bin.rar解压到hadoop的bin目录下面 3.hadoop.dll复制到windows/system32下面 4.配置hadoop环境变量 增加系统变量HADOOP_HOME，值是下载的zip包解压的目录 在系统变量path里增加 %HADOOP_HOME%\bin %HADOOP_HOME%\sbin 5.重启电脑和idea
hadoop--windows环境配置hadoop-3.2.2
FunnyPrince_的博客
06-21 1000
客户端环境准备 1.JDK安装、hadoop-3.2.2安装； 2.hadoop windows的插件； 安装配置 1.管理员身份解压hadoop安装包至 “D:\develop\hadoop-3.2.2” 路径下； 2.用工具中的bin目录替换hadoop中的bin目录，主要是
Hadoop 3.xx + Windows 搭建开发环境
xxr_yl@163.com
08-15 859
Hadoop+windows
Hive3.1.3安装及部署
zhongmingyu
04-07 2288
目录1 下载地址2 安装部署2.1 安装Hive2.2 启动并使用Hive2.3 MySQL安装2.3.1 安装MySQL2.3.2 配置MySQL2.3.3 卸载MySQL说明2.4 配置Hive元数据存储到MySQL2.4.1 配置元数据到MySQL2.4.2 验证元数据是否配置成功2.4.3 查看MySQL中的元数据2.5 Hive服务部署2.5.1 hiveserver2服务 2.5.2 metastore服务2.5.3 编写Hive服务启动脚本（了解）配置环境：http://archive.apa
在windows10上安装apache-hive-3.1.3
11-09 584
基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行，hive 是一种底层封装了Hadoop 的数据仓库处理工具，使用类SQL 的hiveSQL 语言实现数据查询。然后再hive的bin目录下执行hive.cmd start。启动hive，在hive的bin下面执行hive.cmd start。
大数据Hadoop之——部署hadoop+hive环境（window10）
匠人精神，持之以恒！
02-13 5056
文章目录一、安装JDK81）JDK下载地址2）验证二、Hadoop安装1）下载Hadoop3.1.32）配置环境变量3）配置相关配置文件 一、安装JDK8 1）JDK下载地址 http://www.oracle.com/technetwork/java/javase/downloads/index.html 按正常下载是需要先登录的，这里提供一个不用登录下载的方法 连接如下：https://www.oracle.com/webapps/redirect/signon?nexturl=https://d
hadoop安装hive
11-08
安装Hive需要以下步骤： 1. 下载Hive安装包并解压缩到指定目录，例如：/software/hive/ 2. 配置Hive环境变量，需要在~/.bashrc文件中添加以下内容： ``` export HIVE_HOME=/software/hive export PATH=$PATH:$HIVE_HOME/bin ``` 3. 配置Hive的hive-site.xml文件，需要在$HIVE_HOME/conf目录下创建hive-site.xml文件，并添加以下内容： ``` <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> <description>password to use against metastore database</description> </property> </configuration> ``` 其中，ConnectionURL需要根据实际情况修改，ConnectionUserName和ConnectionPassword需要根据实际情况设置。 4. 启动Hive服务，需要执行以下命令： ``` $HIVE_HOME/bin/hive --service metastore & $HIVE_HOME/bin/hive --service hiveserver2 & ``` 5. 验证Hive是否安装成功，可以执行以下命令： ``` $HIVE_HOME/bin/hive ``` 如果成功启动Hive命令行界面，则说明Hive安装成功。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值