HIVE学习系列——windows Hadoop安装（上）

已于 2022-05-06 16:05:02 修改
阅读量2.7k 收藏 11
点赞数 5
分类专栏： 数据库基操 文章标签： hdfs hadoop hive
于 2022-04-27 21:02:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jh_210/article/details/124444725
版权

文章目录

整体流程概览

系统：windows10
Jre8 => hadoop安装与配置 => HDFS格式化 => 开启服务
前排提示，HIVE整体配置篇幅较长，可收藏后慢慢操作。
大佬们有相关编写建议也可以多多指导！

  • 下篇地址
  • 周末上传安装过程中使用的各种压缩包、安装包

jre环境

jre安装

Jre8官网

  1. 打开官网，选择windows64位的安装包即可

在这里插入图片描述
Orcal官网的下载需要账号登陆，邮箱注册即可，全程无收费点。

  1. 按照提示直接安装

在这里插入图片描述
这里位置可以自定义一下，安装位置要牢记
在这里插入图片描述

  1. 安装过程中可能会提示程序占用，并给出PID，Ctrl+Alt+Delete调出任务管理器，先后选择性能、资源监视器

在这里插入图片描述

  1. 在资源监视器中搜索PID，找到相应进程后右击，选择结束进程即可（点击PID排序后更好找一些，CPU中找不到时切换至内存、磁盘即可）

在这里插入图片描述

  1. 处理掉占用的进程后会再选一次安装位置，这里个人原因，选择安装在了指定目录下

在这里插入图片描述
文件夹jre为步骤2中选择的位置，文件夹java为第二次选择的位置

jre环境变量配置

  1. 右击此电脑选择属性，在右边找到高级系统设置

在这里插入图片描述

  1. 依次点击环境变量、新建，输入变量名JAVA_HOME，点击浏览目录，选择jre安装的位置

在这里插入图片描述

  1. 点击环境变量，在系统变量中找到Path并双击，点击新建，输入%JAVA_HOME%\bin

在这里插入图片描述

  1. 测试jre，在cmd中输入java -version与javac进行测试

在这里插入图片描述

Hadoop安装与配置

官网下载步骤

Hadoop官网

  1. 点击Download，进入下载界面

在这里插入图片描述

  1. 选择Binary download下的最新版本即可
    Source Download表示源代码版，需要编译后使用
    Binary Download表示可执行版，直接解压使用

在这里插入图片描述

  1. 点击该条链接进行压缩包下载，结果如图所示：

在这里插入图片描述

  1. 下载完成后解压到指定目录即可，解压位置要牢记
    这里需要以管理员方式运行
    windows中管理员方式解压文件

清华镜像下载步骤

Hadoop清华镜像

  1. 选择需要的版本

在这里插入图片描述

  1. 选择tar.gz文件

在这里插入图片描述

  1. 下载完成后解压即可，同样需要以管理员身份运行
    windows中管理员方式解压文件

Hadooponwindows下载

Hadooponwindows
提取码：q1p2
原始Hadooponwindows版本可在github中搜索Hadooponwindows得到

  1. 下载后与hadoop压缩包放置于同一目录下

在这里插入图片描述

  1. 解压hadooponwindows
  2. 将hadooponwindows中的bin与etc复制到hadoop目录下（建议提前备份hadoop中的bin与etc文件夹）

在这里插入图片描述

配置系统变量

  1. 右击此电脑选择属性，在右边找到高级系统设置

在这里插入图片描述

  1. 依次点击环境变量``新建，输入变量名HADOOP_HOME点击浏览目录，选择hadoop安装的位置

在这里插入图片描述

  1. 点击环境变量，在系统变量中找到Path并双击，点击新建，输入%HADOOP_HOME%\bin

在这里插入图片描述

  1. 测试hadoop，在cmd中输入hadoop进行测试，发现报错

在这里插入图片描述
以文本形式打开对应位置的cmd文件，发现JAVA_HOME配置错误
在这里插入图片描述
修正后重新测试
在这里插入图片描述
问题解决

hadoop初始文件配置

为方便查看，这里先贴上自己hadoop的路径，也就是之前的解压路径
D:\hive\hadoop\hadoop-3.2.3\
该目录下的内容：

在这里插入图片描述

hadoop.dll文件复制

文件路径：D:\hive\hadoop\hadoop-3.2.3\bin\hadoop.dll

在这里插入图片描述

目标路径1：D:\hive\hadoop\hadoop-3.2.3\sbin

在这里插入图片描述

目标路径2：C:\Windows\System32

在这里插入图片描述

配置文件修改

  • 来到hadoop路径D:\hive\hadoop\hadoop-3.2.3\下，创建若干文件夹以及文件：
    文件夹1：D:\hive\hadoop\hadoop-3.2.3\data
    文件夹2：D:\hive\hadoop\hadoop-3.2.3\data\dfs
    文件夹3：D:\hive\hadoop\hadoop-3.2.3\data\dfs\datanode
    文件夹4：D:\hive\hadoop\hadoop-3.2.3\data\dfs\namenode
    在这里插入图片描述
  • 文件修改
    文件1：D:\hive\hadoop\hadoop-3.2.3\etc\hadoop\hdfs-site.xml

在这里插入图片描述

  1. 增加http-address字段
  2. 修正后两个字段中的路径信息为上一步骤中所创建的信息
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:50070</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hive/hadoop/hadoop-3.2.3/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hive/hadoop/hadoop-3.2.3/data/dfs/datanode</value>
    </property>
</configuration>

文件2：D:\hive\hadoop\hadoop-3.2.3\etc\hadoop\mapred-site.xml

在这里插入图片描述
主要是tracker字段的添加

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

如果按照本文所述步骤安装至此，只用修改这2个文件即可，修改完不放心的朋友可以和大佬的这篇文章对应一下，感谢大佬指路

格式化HDFS

在cmd中输入hdfs namenode -format

在这里插入图片描述

相关服务开启

以管理员身份运行cmd，切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下，输入start-all.cmd，随后输入jps查看服务启动情况

  • 目录位置：
    在这里插入图片描述
  • 运行结果：

执行start-all.cmd之后会出现4个新的执行框，其中正确执行的会在窗口标题处增加“- 服务名称”如图中绿色箭头所示，反之如红色箭头所示
在这里插入图片描述
此时查看jps运行结果也不难看出，只有3个服务启动成功（最初只有2个服务可以成功启动，此图为部分修正后的结果）

服务开启过程中遇到的问题

同样先贴上自己hadoop的路径，也就是之前的解压路径
D:\hive\hadoop\hadoop-3.2.3\

  • 问题1：
java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/collector/TimelineColl

解决方法：
未找到类定义，感谢大佬指路
将D:\hive\hadoop\hadoop-3.2.3\share\hadoop\yarn\timelineservice路径中的hadoop-yarn-server-timelineservice-3.2.3复制到D:\hive\hadoop\hadoop-3.2.3\share\hadoop\yarn即可

在这里插入图片描述

  • 问题2：
org.apache.hadoop.io.nativeio.NativeIO$POSIX...

解决方法：
hadoop.dll版本不匹配，感谢大佬指路
安装时采用了hadoop==3.2.3，但是hadooponwindows中的hadoop版本为2.0，在大佬提示的git中下载hadoop.dll的3.0版本，之后复制到D:\hive\hadoop\hadoop-3.2.3\bin下即可
Github链接

  • 问题3：
Exiting with status 1: java.io.FileNotFoundException: D:\hive\hadoop\hadoop-3.2.3\data\dfs\namenode\current\VERSION (拒绝访问。)

解决方法：
未以管理员方式运行。

开启服务后的验证

  • 切换至D:\hive\hadoop\hadoop-3.2.3\sbin目录下，输入start-all.cmd，随后输入jps查看服务启动情况

在这里插入图片描述
可见所有服务均已正常启动

  • 在Chrome地址栏输入http://localhost:50070查看Hadoop状态

在这里插入图片描述

  • Chrome输入http://localhost:8088查看集群状态

在这里插入图片描述

HIVE学习系列——windows Hadoop安装（下）

KoenigseggH
关注
  • 5
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
Hive2——Hive和Hadoop关系.pdf
07-11
Hive2——Hive和Hadoop关系.pdf 学习资料 复习资料 教学资源
Windows11安装hadoop-3.3.0
xiliuhu的专栏
05-07 2589
解压到C:\hadoop-3.3.0目录，形成C:\hadoop-3.3.0\bin这种目录层次。将其中bin目录替换到C:\hadoop-3.3.0\下的bin目录。\hadoop-3.3.0\etc\hadoop目录下有4个配置文件。2. 下载winutils替换hadoop-3.3.0\bin目录。选择hadoop-3.3.0.tar.gz下载。进入C:\hadoop-3.3.0\sbin。执行start-yarn.cmd文件。1. 下载hadoop-3.3.0。执行start-dfs.cmd文件。
Windows环境下安装hadoop
weixin_52126591的博客
03-01 1299
(1) hadoop安装包清华园镜像：下载 tar.gz(2) 第三方包 winutils如果报nativeio异常，可以将此包解压至hadoop的bin目录下。
Hadoop的windows的依赖包
weixin_44803780的博客
12-29 2476
包含2.6到3.2的依赖包，百度云下载 链接：https://pan.baidu.com/s/1GiK0DNWfAmSNN_rJr2FWjA 提取码：1234
hadoop本地化windows部署
super_chenzhou
06-14 2322
· hadoop on windows · hive on windows · spark on windows(提交方式是spark on yarn)
hive3.1.2安装 hadoop-3.2.3单机版安装
flyfelu的博客
05-16 1684
前置安装：jdk1.8和hadoop3.x.x 一、hadoop-3.2.3单机版安装 1.下载安装包 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.2.3/hadoop-3.2.3.tar.gz 2.解压缩 tar -zxvf hadoop-3.2.3.tar.gz 3.进入hadoop-3.2.3/目录下，创建文件夹input,并将配置文件复制到该文件夹下 mkdir input cp.
hadoop-3.1.0.rar windows 环境依赖
01-12
hadoop-3.1.0.rar
hadoop相关软件下载地址
m0_51679196的博客
08-28 1587
具体位置可能有所变更
21.Hadoop在Windows环境下的下载安装配置超详细版
sunnypaopao的博客
10-17 1131
Hadoop在Windows环境下的下载安装配置超详细版
基于Hadoop的数据仓库Hive学习指南.doc
04-06
该文档目录如下： ...1.1 基于Hadoop的数据仓库Hive学习指南 1.2实验环境 1.3实验原理 1.3.1 Hive简介 1.3.2 Hive安装 1.3.3安装并配置mysql 1.3.5 Hive简单编程实践 1.3.4 Hive的常用HiveQL操作
Hive学习必备——配置Hive环境教程 免费分享哦~
08-14
Hive学习必备——配置Hive环境教程 免费分享哦~
Hadoop上安装Hive的压缩包
12-14
Hadoop上安装Hive的压缩包，需先进行解压，解压后文件夹内压缩包即为用到的压缩包，全称为apache-hive-1.2.1-bin.tar.gz
hadoop Hive学习配套数据
04-01
包含hive集群学习过程中的所有数据库数据
C# wpf 实现任意控件（包括窗口）更多调整大小功能
codeofcc的博客
01-15 2769
上一章我们已经实现了任意控件统一的拖动调整功能，能够方便的给任意控件设置拖动调整大小。开发过程中发现还是有些功能可以继续拓展的，比如cs代码触发拖动、自定义模板、交叉拖动、限制拖动范围等功能。有功能实现起来不算太容易，却很有实用价值。
HTTP方式在线访问Hadoop HDFS上的文件解决方案
Alex的博客
04-28 960
为了通过HTTP方式在线访问HDFS上的文件，您可以利用WebHDFS REST API或者HttpFS Gateway这两种机制实现。 1：httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口，通过WebHDFS REST API 可以对hdfs进行读写等访问2：与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一个节点，通过httpfs可以访问放置在防火墙后面的hadoop集群3：httpfs是一个Web应用,部署在内嵌的tomcat中。
hadoop学习---基于hive的航空公司客户价值的LRFCM模型案例
最新发布
weixin_46164667的博客
05-01 823
在客户分类中，RFM模型是一个经典的分类模型，模型利用通用交易环节中最核心的三个维度——最近消费(Recency)、消费频率(Frequency)、消费金额(Monetary)细分客户群体，从而分析不同群体的客户价值。在某些商业形态中，客户与企业产生连接的核心指标会因产品特性而改变。如互联网产品中，以上三项指标可以相应地变为下图中的三项：最近一次登录、登录频率、在线时长。
hadoop的相关操作
码不停歇的博客
04-28 1035
Hadoop生态圈:是更广泛的概念,包含hadoop,sqoop,flume,zookeeper,hive,spark,hbase,oozie等构成的大数据处理相关一系统组件。1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等),及每个文件的块列表和块所在的DataNode等。Common(辅助工具):支持其他模块的工具(Configuration,RPC,序列化机制,日志操作等)HDFS(数据存储):一个高可靠,高吞吐量的分布式文件系统。
hadoop安装hive
11-08
安装Hive需要以下步骤： 1. 下载Hive安装包并解压缩到指定目录，例如：/software/hive/ 2. 配置Hive环境变量，需要在~/.bashrc文件中添加以下内容： ``` export HIVE_HOME=/software/hive export PATH=$PATH:$HIVE_HOME/bin ``` 3. 配置Hive的hive-site.xml文件，需要在$HIVE_HOME/conf目录下创建hive-site.xml文件，并添加以下内容： ``` <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>password</value> <description>password to use against metastore database</description> </property> </configuration> ``` 其中，ConnectionURL需要根据实际情况修改，ConnectionUserName和ConnectionPassword需要根据实际情况设置。 4. 启动Hive服务，需要执行以下命令： ``` $HIVE_HOME/bin/hive --service metastore & $HIVE_HOME/bin/hive --service hiveserver2 & ``` 5. 验证Hive是否安装成功，可以执行以下命令： ``` $HIVE_HOME/bin/hive ``` 如果成功启动Hive命令行界面，则说明Hive安装成功。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值