1、下载tar包,并解压jdk、hadoop的tar包
哔哩哔哩视频教程:https://www.bilibili.com/video/av69513575
百度网盘:https://pan.baidu.com/s/1nVrcXfjB8JmpxHRRzN4O4A
提取密码:7m3m
tar -zxvf hadoop-2.7.5.tar.gz -C ../
tar -zxvf jdk-8u181-linux-x64.tar.gz -C ../
2、配置环境变量(/etc/profile)
export JAVA_HOME=/root/software/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/root/software/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
刷新环境配置:source /etc/profile
3、配置hadoop配置文件
配置文件目录:hadoop-2.7.5/etc/hadoop
hadoop-env.sh
export JAVA_HOME=/root/software/jdk1.8.0_181
core-site.xml
<!-- 指定namenode的hdfs协议的文件系统通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.182.128:9000</value>
</property>
<!-- 默认路径/tmp namenode的数据默认放在${hadoop.tmp.dir}/dfs/name 路径下 -->
<!-- 如果操作系统重启了,系统会清空/tmp目录下的东西 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/software/hadoop-2.7.5/tmp</value>
</property>
mapred-site.xml
<!-- 指定yarn为mapreduce的框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
yarn-site.xml
<!-- yarn的默认混洗方式,选择为mapreduce的默认混洗算法 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
格式化namenode、启动HDFS集群、启动yarn服务
hadoop namenode -format
start-dfs.sh
start-yarn.sh
格式化是对HDFS这个分布式文件系统中的DataNode进行分块,统计所有分块后的初始元数据的存储在NameNode中。
启动结果
start-dfs.sh启动结果
9226 DataNode
8525 SecondaryNameNode
8334 NameNode
start-yarn.sh启动结果
9659 NodeManager
9535 ResourceManager