伪分布式攻略

最新推荐文章于 2024-09-14 17:16:37 发布

Qz忘冥哎，无聊

最新推荐文章于 2024-09-14 17:16:37 发布

阅读量885

点赞数 21

文章标签： apache

本文链接：https://blog.csdn.net/qq_68018436/article/details/138192603

版权

本文详细介绍了在Linux系统中搭建Hadoop伪分布式环境的步骤，包括关闭防火墙、修改主机名、安装JDK和Hadoop，以及配置相关文件如JAVA_HOME、核心配置文件、HDFS和YARN设置。最后通过验证节点和服务确认环境搭建成功。

摘要由CSDN通过智能技术生成

1.查看ip

ip a

2.关闭防火墙

[root@master ~]# systemctl stop firewalld 关闭防火墙后要查看防火墙的状态，确认一下。 [root@master ~]# systemctl status firewalld

3、修改主机名、添加主机映射

hostnamectl set-hostname master
4.修改虚拟机host，添加master的ip地址

vi /etc/hosts

192.168.10.10 master

5..安装jdk

tar -zxvf jdk-8u152-linux-x64.tar.gz

改名 mv jdk-8u152 jdk

改环境

vi /etc/profile
添加

export JAVA_HOME=/opt/jdk
export PATH=:$PATH:$JAVA_HOME/bin

source /etc/profile
6.安装hadoop

tar -zxvf hadoop2.7.tgz

改名

mv hadoop2.7 hadoop

7.修改配置文件

8.修改 hadoop-env.sh

vi hadoop-env.sh

export JAVA_HOME=/opt/jdk

修改 core-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

修改 hdfs-site.xml 将dfs.replication设置为1

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>

修改文件yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>604800</value>
</property>
</configuration>