1.上传并解压JDK、hadoop安装包。
2.配置JDK、hadoop环境变量。
3.修改配置文件。
3.1进入hadoop配置文件目录
#进入/opt/apps/hadoop/etc/hadoop配置文件目录,/opt/apps/hadoop为hadoop软件包的根路径
cd /opt/apps/hadoop/etc/hadoop
3.2修改hadoop-env.sh里面的JDK路径。
vi hadoop-env.sh
3.3修改core-site.xml文件。
#创建hdfs文件存储目录
mkdir -p /opt/apps/hadoop/tmp
# 在hadoop的etc/haoop目录中找到core-site.xml
vi core-site.xml
core-site.xml。
主机名修改为免密登录时的主机名,不然免密登录不生效。
<!-- fs.defaultFS:该参数是配置指定HDFS的通信地址。其值为hdfs://localhost:9000,9000为端口号,可根据情况修改,伪分布模式下主机名一般不需要修改。
hadoop.tmp.dir:该参数配置的是Hadoop临时目录,即指定Hadoop运行时产生文件的存储路径,其值可以自行设置,不能设置为/tmp(/tmp是Linux的临时目录)。-->
<property>
<name>fs.defaultFS</name>
<!--这里主机名修改为免密登录时的主机名,不然免密登录不生效-->
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/apps/hadoop/tmp</value>
</property>
3.4修改hdfs-site.xml文件。
vi hdfs-site.xml
<!--dfs.replication:该参数是配置HDFS系统的副本数,因为这里是伪分布模式,只有一个节点,所以设置为1.-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
3.5格式化名称节点。
hdfs namenode -format
3.6配置mapred-site.xml。
根据已有的配置文件模板复制一份出来。
cp mapred-site.xml.template mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
3.7通过start-all.sh命令启动hdfs和yarn。
3.8通过jps查看Hadoop伪分布式的进程。
3.9关闭centos7防火墙。
# 通过命令关闭防火墙
systemctl stop firewalld
# 禁止防火墙开机自启
systemctl disable firewalld
3.10通过web形式访问HDFS。
HDFS web地址http://192.168.26.111:50070/
YARN web地址http://192.168.26.111:8088/cluster
参考文献
伪分布式参考博客 https://blog.csdn.net/JunLeon/article/details/120504843