Hadoop伪分布搭建

1、下载tar包，并解压jdk、hadoop的tar包

哔哩哔哩视频教程:https://www.bilibili.com/video/av69513575
百度网盘：https://pan.baidu.com/s/1nVrcXfjB8JmpxHRRzN4O4A
提取密码：7m3m

tar -zxvf hadoop-2.7.5.tar.gz -C ../
tar -zxvf jdk-8u181-linux-x64.tar.gz -C ../

2、配置环境变量（/etc/profile）

export JAVA_HOME=/root/software/jdk1.8.0_181
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/root/software/hadoop-2.7.5
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

刷新环境配置：source /etc/profile

3、配置hadoop配置文件

配置文件目录：hadoop-2.7.5/etc/hadoop

hadoop-env.sh

export JAVA_HOME=/root/software/jdk1.8.0_181

core-site.xml

<!-- 指定namenode的hdfs协议的文件系统通信地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.182.128:9000</value>
</property>
<!-- 默认路径/tmp namenode的数据默认放在${hadoop.tmp.dir}/dfs/name 路径下 -->
<!-- 如果操作系统重启了，系统会清空/tmp目录下的东西 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/root/software/hadoop-2.7.5/tmp</value>
</property>

mapred-site.xml

<!-- 指定yarn为mapreduce的框架 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

yarn-site.xml

<!-- yarn的默认混洗方式，选择为mapreduce的默认混洗算法 -->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

格式化namenode、启动HDFS集群、启动yarn服务

hadoop namenode -format
start-dfs.sh
start-yarn.sh

格式化是对HDFS这个分布式文件系统中的DataNode进行分块，统计所有分块后的初始元数据的存储在NameNode中。

启动结果

start-dfs.sh启动结果

9226 DataNode
8525 SecondaryNameNode
8334 NameNode

start-yarn.sh启动结果

9659 NodeManager
9535 ResourceManager