Hadoop伪分布式集群搭建

一、静态IP设置

我这另一篇博客中写过，在这里就不过多赘述了，传送门：https://blog.csdn.net/u012430402/article/details/115645748

二、SSH免密登录

因为是单机，所以在当前机器使用命令：ssh-keygen -t rsa 生成密钥对， 然后再~/.ssh 目录下创建 authorized_keys文件，把公钥复制进去保存

三、修改配置文件

1、vim hadoop-env.sh 在文件末尾添加

export JAVA_HOME=/usr/local/devilyang/jdk1.8.0_171
export HADOOP_LOG_DIR=/usr/local/hadoop_repo/logs/hadoop

2、vim core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop01:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop_repo</value>
    </property>
</configuration> 

3、vim hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
</configuration> 

4、vim mapred-site.xml
 

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration> 

5、vim yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
</configuration> 

6、vim workers

修改成自己的主机名，这里为hadoop01

四、初始化HDFS的文件系统

进入hadoop的根目录执行：bin/hdfs namenode -format

 出现上述图片，表示格式化成功。

五、修改启动脚本（解决root用户启动报错，没有用户权限问题）

进入sbin目录，vim start-dfs.sh， 在前面添加

HDFS_DATANODE_USER=root 
HDFS_DATANODE_SECURE_USER=hdfs 
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 

vim stop-dfs.sh，同样放到前面

HDFS_DATANODE_USER=root 
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root 
HDFS_SECONDARYNAMENODE_USER=root 

vim start-yarn.sh，stop-yarn.sh,同样放到前面

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

六、启动伪集群

启动集群  sbin/start-all.sh

 使用jps命令查看

 

除了jps外，其他有五个进程，表示启动成功！

或者使用浏览器访问：

HDFS webui界面：http://192.168.100.100:9870 
YARN webui界面：http://192.168.100.100:8088