centos7下hadoop伪分布模式部署

最新推荐文章于 2022-05-15 22:27:51 发布

乔英杰

最新推荐文章于 2022-05-15 22:27:51 发布

阅读量240

点赞数

本文链接：https://blog.csdn.net/m0_57768079/article/details/121792738

版权

一、准备工作

1.检查jdk是否安装成功

2. 创建所需要的文件夹 //data文件夹用于存放数据文件

[root@localhost ~]# mkdir -p /export/data

3.修改主机名为hadoop1

[root@hadoop1 ~]# hostnamectl set-hostname hadoop1

注：重启虚拟机后才会发生变化

二、设置免密

1.生成密钥 //输入命令后三次回车

[root@hadoop1 ~]# ssh-keygen -t rsa

2.把公钥发送给本机

[root@hadoop1 ~]# ssh-copy-id hadoop1

如下图所示：

二、使用xftp工具上传安装包

进入software文件夹下查看

[root@hadoop1 ~]# cd /export/software/
[root@hadoop1 software]# ls

三、解压安装包

1.解压至servers文件夹下

[root@hadoop1 software]# tar -zxvf hadoop-2.7.7.tar.gz -C /export/servers/

四、修改配置文件

1.进入到hadoop目录

[root@hadoop1 hadoop-2.7.7]# cd /export/servers/hadoop-2.7.7/etc/hadoop/

2.修改hadoop-env.sh

[root@hadoop1 hadoop]# vi hadoop-env.sh

修改jdk路径：

2.修改core-site.xml文件：

[root@hadoop1 hadoop]# vi core-site.xml

在<configuration>标签中添加以下内容：

         <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/export/data/hadoopdata</value>
        </property>

完成后保存wq保存退出

3.修改hdfs-site.xml文件：

[root@hadoop1 hadoop]# vi hdfs-site.xml

在<configuration>标签中添加以下内容：

        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/export/data/hadoopdata/name</value>                
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/export/data/hadoopdata/data</value>               
        </property>
        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>

完成后保存wq保存退出

4.修改mapred-site.xml文件：

注：首先复制一份文件并命名为mapred-site.xml

[root@hadoop1 hadoop]# cp mapred-site.xml.template mapred-site.xml

然后进行修改：

[root@hadoop1 hadoop]# vi mapred-site.xml

在<configuration>标签中添加以下内容：

          <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
          </property>

完成后保存wq保存退出！

5.修改yarn-site.xml文件：

[root@hadoop1 hadoop]# vi yarn-site.xml

在<configuration>标签中添加以下内容：

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>           
        </property>

完成后保存wq保存退出！

五、配置环境变量

[root@hadoop1 hadoop]# vi /etc/profile

添加以下内容：

export HADOOP_HOME=/export/servers/hadoop-2.7.7
PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

完成后wq保存退出！

六、验证是否成功

1.刷新配置文件

[root@hadoop1 hadoop]# source /etc/profile

2.查看hadoop版本

[root@hadoop1 hadoop]# hadoop version

如图所示：

3. 创建所需文件夹

[root@hadoop1 hadoop]# mkdir -p /export/data/hadoopdata/data
[root@hadoop1 hadoop]# mkdir -p /export/data/hadoopdata/name

4.初始化Hadoop集群：

[root@hadoop1 hadoop]# hadoop namenode -format

5.启动集群，并使用jps查看进程

[root@hadoop1 hadoop]# start-all.sh

如图所示即为搭建成功：

6.访问web界面

1.关闭防火墙

[root@hadoop1 hadoop]# systemctl stop firewalld

2.在浏览器地址栏中输入自己虚拟机的IP地址加50070端口号

例如：192.168.181.150:50070

7.关闭集群

[root@hadoop1 hadoop]# stop-all.sh