Hadoop伪分布集群搭建（单节点）

S1Lu

已于 2022-09-28 07:17:09 修改

阅读量873

点赞数

分类专栏：大数据文章标签： hadoop 大数据分布式单节点 linux

于 2022-09-27 13:27:39 首次发布

本文链接：https://blog.csdn.net/qq_51644623/article/details/127069745

版权

大数据专栏收录该内容

4 篇文章 3 订阅

订阅专栏

## 一、系统基础操纵：

1、修改主机名

sudo hostnamectl set-hostname hadoop
bash

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LEqeHAg7-1664255722246)(:/ee9ce513a2e24ade80c7e23577721e20)]

2、禁用防火墙

systemctl stop firewalld.service 
systemctl disable firewalld.service 
systemctl status firewalld.service

在这里插入图片描述

3、禁用SELinux

vi /etc/selinux/config

在这里插入图片描述

4、修改repo源

5、安装软件

二、Java环境配置

1、解压

tar -zxf jdk-8u221-linux-x64.tar.gz -C /opt/module/

2、配置系统环境变量

vi /etc/profile.d/hadoop.sh

export JAVA_HOME=/opt/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

(:/fd350a77086341629c77c0dfe6aa10f2)]

3、生效

source /etc/profile.d/hadoop.sh

4、测试

java -version

三、ssh免密登录

1、启动ssh守护进程

systemctl start sshd

2、查看状态

systemctl status sshd

3、生成密钥对

ssh-keygen

4、切换目录

cd ~/.ssh/

在这里插入图片描述

5、添加公钥

cat id_rsa.pub > authorized_keys

在这里插入图片描述

6、修改权限

chmod 600 authorized_keys

在这里插入图片描述

7、使用本机做回环测试

ssh root@hadoop

在这里插入图片描述

8、退出

exit

在这里插入图片描述

四、gadoop配置安装

1、解压压缩包

tar -xzf hadoop-2.7.7.tar.gz -C /opt/module/

在这里插入图片描述

2、配置hadoop系统环境变量

vi /etc/profile.d/hadoop.sh

export HADOOP_HOME=/opt/module/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_PATH/sbin

在这里插入图片描述

3、使脚本生效

source /etc/profile.d/hadoop.sh

在这里插入图片描述

4、查看是否生效

hadoop version

在这里插入图片描述

五、配置HDFS

1、配置`hadoop-env.sh`中的`JAVA_HOME`

先进入
/opt/module/hadoop-2.7.7/etc/hadoop

vi hadoop-env.sh


:! echo $JAVA_HOME

在这里插入图片描述

/opt/module/jdk1.8.0_221
在这里插入图片描述

2、配置core-site.xml

vi core-site.xml

在这里插入图片描述

新的

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

原来的

 <property>
  <name>dfs.defaultFS</name>
  <value>hdfs://hadoop:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/home/root/hadoop</value>
 </property>

在这里插入图片描述

3、配置hdfs-site.xml

vi hdfs-site.xml

在这里插入图片描述

 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>
 <property>
  <name>dfs.namenode.name.dir</name>
  <value>file:///home/root/hadoop/name</value>
 </property>
  <property>
  <name>dfs.namenode.data.dir</name>
  <value>file:///home/root/hadoop/data</value>
 </property>

4、配置mapred-site.xml文件

cp mapred-site.xml.template mapred-site.xml

在这里插入图片描述

vi mapred-site.xml

在这里插入图片描述

 <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
 </property>

在这里插入图片描述

5、配置yarn-site.xml

vi yarn-site.xml

在这里插入图片描述

 <property>
  <name>yarn.resourcemanager.hostname</sname>
  <value>hadoop</value>
 </property>
 <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
 </property>