安装部署 Hadoop 伪分布式集群（linux)

安装部署 Hadoop 伪分布式集群

1准备工作，解压hadoop和jdk安装包

配置1. hadoop-env.sh 文件内容

Cd /home/hadoop/software/hadoop-3.3.0/etc/hadoop/

复制hadoop-env.sh文件名

Vim hadoop-env.sh

添加export JAVA_HOME=/home/hadoop/software/jdk1.8

 

1. 配置core-site.xml 文件内容

Vim core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hadooptest:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/software/hadooptmp</value>

</property>

</configuration>

创建文件hadooptmp

3. 配置hdfs-site.xml 文件内容

Vim hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

4. 配置mapred-site.xml 内容

Vim  mapred-site.xml

<configuration>

<property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

  </property>

</configuration>

1. yarn-site.xml 文件内容

Vim yarn-site.xml

<configuration>

 <property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

 </configuration>

6. 配置 Hadoop 环境变量

保存退出后source ~/.bash_profile

7,配置workers文件,绑定主机名

1. 格式化HDFS

hadoop namenode -format

1. 1. 启动 Hadoop 伪分布式集群

Start-all.sh

1. 1. 验证 Hadoop 伪分布式集群

jps

学习企业JAVA前后端知识，一个宝藏平台，码帮主学习平台https://www.mbzvip.cn/，对萌新，初学者非常好，不仅有讲解详细的教学视频和笔记，更有老师耐心解答。（亲测）