二、安装Hadoop
1. 下载hadoop-3.3.0
进入下载页面
https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/
选择hadoop-3.3.0.tar.gz下载
https://archive.apache.org/dist/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz
解压到C:\hadoop-3.3.0目录,形成C:\hadoop-3.3.0\bin这种目录层次
2. 下载winutils替换hadoop-3.3.0\bin目录
下载winutils
https://github.com/s911415/apache-hadoop-3.1.0-winutils
将其中bin目录替换到C:\hadoop-3.3.0\下的bin目录
3. 设置环境变量
4. 修改配置
C:\hadoop-3.3.0\etc\hadoop目录下有4个配置文件
C:\hadoop-3.3.0\etc\hadoop\core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9820</value>
</property>
</configuration>
C:\hadoop-3.3.0\etc\hadoop\hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///C:/hadoop-3.3.0/data/dfs/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///C:/hadoop-3.3.0/data/dfs/datanode</value>
</property>
</configuration>
C:\hadoop-3.3.0\etc\hadoop\mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<description>MapReduce framework name</description>
</property>
</configuration>
C:\hadoop-3.3.0\etc\hadoop\yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>Yarn Node Manager Aux Service</description>
</property>
</configuration>
5. 格式化目录
创建数据目录
C:\hadoop-3.3.0\data\dfs\namenode
C:\hadoop-3.3.0\data\dfs\datanode
cd C:\hadoop-3.3.0\bin
hdfs namenode -format
注意:-format中开头的短横容易写成全角下的短横,这样会导致错误,一定要用半角短横
选择Y
6. 验证服务
C:\hadoop-3.3.0\sbin> jps
17504 NameNode
17584 Jps
20944 NodeManager
3852 DataNode
4572 ResourceManager
![img](https://img-blog.csdnimg.cn/img_convert/3102b9259509db20b44e389f553700ca.png)
![img](https://img-blog.csdnimg.cn/img_convert/2a3015a52e683739fed6f1dbe99c26f6.png)
![img](https://img-blog.csdnimg.cn/img_convert/e1a28c279ca441de8c7be8acf90cf4fa.png)
**既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**
课程,涵盖了95%以上大数据知识点,真正体系化!**
**由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新**
**[需要这份系统化资料的朋友,可以戳这里获取](https://bbs.csdn.net/topics/618545628)**