搭建Hadoop本地模式、伪分布模式和全分布模式集群

已于 2022-07-07 05:42:36 修改
阅读量1.8k 收藏 17
点赞数 2
分类专栏： hadoop集群 文章标签： linux 运维 服务器 hadoop
于 2022-05-15 22:27:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20789553/article/details/124649199
版权

目录

1、环境准备

1.1、服务器和软件准备

1.2、关闭防火墙

1.3、编辑hosts文件

1.4、安装jdk

1.5、上传安装包

2、Hadoop的目录结构

2.1、解压hadoop到/usr/local路径下

2.2、执行tree命令查看hadoop的树形结构

2.3、设置hadoop环境变量

3、Hadoop的主要脚本

4、搭建hadoop的本地模式

4.1、本地模式特点

4.2、本地模式部署

4.3、测试是否成功

5、搭建hadoop的伪分布模式

5.1、伪分布模式的特点

5.2、搭建伪分布模式

         5.2.1、主要配置参数如下表

5.2.2、部署

5.3、对NameNode进行格式化

5.4、启动hadoop

5.5、操作hdfs和yarn

6、免密码登录的原理和配置

6.1、免密码登录的原理

6.2、免密码登录的配置

6.3、验证配置是否成功

7、搭建全分布模式 

7.1、全分布模式特点

7.2、准备工作

 7.3、全分布式架构

7.3.1、主要配置参数如下表

7.3.2、部署

7.3.3、对namenode进行格式化

7.3.4、 把bigdata1的配置文件复制到bigdata2和bigdata3

7.3.5、启动hadoop集群

7.3.6、验证hadoop集群是否部署成功

1、环境准备

1.1、服务器和软件准备

服务器内存容量系统软件版本数量
linux4g100Gcentos8.0jdk1.85
hadoop2.7.3

这里我用的云服务器（大家可以在自己的电脑安装虚拟机，配置内存可以调整为2g，容量的话60G就行），不方便透露服务器的IP，所以3台服务器的IP分别是A、B、C 、E和F       

hadoop软件下载可以到对应的官网下载hadoop-2.7.3.tar.gz或者通过百度网盘去下载：

        链接：https://pan.baidu.com/s/1kg9gr9X5Sw1G7gGevvPHoA 
        提取码：732c

1.2、关闭防火墙

       永久关闭防火墙：

systemctl disable firewalld.service

1.3、编辑hosts文件

vi /etc/hosts

 将ip分别映射为bigdata1、bigdata2、bigdata3、bigdata4、bigdata5

A bigdata1
B bigdata2
C bigdata3
D bigdata4
E bigdata5

        将A、B、C、D、E分别改为自己的服务器IP（如果是云服务器，要用内网ip）

1.4、安装jdk

        在这儿就不在写安装jdk步骤了，安装jdk的博客有很多，大家可以根据文档自行安装(jdk 1.8版本即可)

1.5、上传安装包

       分别在5个服务器上传hadoop-2.7.3.tar.gz到/usr/local/tools路径下

cd /usr/local
mkdir tools

         将hadoop-2.7.3.tar.gz都上传到对应的路径下tools路径下

2、Hadoop的目录结构

2.1、解压hadoop到/usr/local路径下

cd /usr/local/tools
 tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/

2.2、执行tree命令查看hadoop的树形结构

cd /usr/local/hadoop-2.7.3
tree -d -L 3  hadoop-2.7.3/

执行后结果如下图：

       

2.3、设置hadoop环境变量

vi ~/.bash_profile

在文件中增加如下代码：

HADOOP_HOME=/usr/local/hadoop-2.7.3
export HADOOP_HOME


PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export PATH

增加完截图如下：

执行如下命令是配置生效

source ~/.bash_profile

执行hdfs + tab键，出现如下截图代表配置生效：

 注意：tree命令如果执行报错，需要安装tree依赖

依赖包下载可以通过百度网盘链接进行下载或者官网自行下载，下载完成后上传到/usr/local路径下

        链接：https://pan.baidu.com/s/1q7JisLGdv1lkVXs3aCIrpw 
        提取码：dikw 

然后执行如下命令：

cd /usr/local
rpm -ivh tree-1.6.0-10.el7.x86_64.rpm

3、Hadoop的主要脚本

#启动所有hadoop守护进程
sbin/start-all.sh
#用于启动namenode,datanode,secondarynamenode
sbin/start-dfs.sh
#用于启动nodemanager,resourcemanager
sbin/start-yarn.sh

停止的话start换为stop即可

#主要调用hdfs命令
sbin/hadoop-daemon.sh
#主要调用yarn命令，yarn-daemon.sh和yarn-daemons.sh均可用于启动nodemanage,resourcemanager
sbin/yarn-daemon.sh

 使用stop-dfs.sh和stop-yarn.sh关闭所有hadoop守护进程

4、搭建hadoop的本地模式

4.1、本地模式特点

  • 没有HDFS
  • 没有Yarn
  • 只能测试MapReduce程序， 作为一个普通的java程序
  • 处理本地的linux文件数据

 4.2、本地模式部署

        修改配置文件

cd /usr/local/hadoop-2.7.3/etc/hadoop
vi hadoop-env.sh

修改文件中的java  

export JAVA_HOME=/usr/local/jdk1.8.0_181

 4.3、测试是否成功

 mkdir /opt/temp
vim /opt/temp/data.txt

在文件中添加如下内容：

welcome to beijing
welcome to tianjin
beijing is very beautiful
cd /usr/local/hadoop-2.7.3/share/hadoop/mapreduce/
ls hadoop-mapreduce-examples-2.7.3.jar

截图如下：

 执行如下命令：

 hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /opt/temp /opt/output/wc

 执行截图如下：

进入 /opt/temp /opt/output/wc目录下

cd /opt/output/wc

有如下两个文件

 对每个单词的数量都进行了统计

 至此hadoop的本地模式就部署成功了

5、搭建hadoop的伪分布模式

5.1、伪分布模式的特点

  • 在单机上，模拟一个分布式的环境
  • 具备Hadoop的所有的功能 

         HDFS: NameNode、DataNode、SecondaryNameNode 

        Yarn: ResourceManager、NodeManager

  • 用于开发和测试

 5.2、搭建伪分布模式

5.2.1、主要配置参数如下表

参数文件配置参数参考值
hadoop-env.shJAVA_HOME/usr/local/jdk1.8.0_181
hdfs-site.xdfs.replication1
dfs.permissionsfalse
core-site.xmlfs.defaultFShdfs://<hostname>:9000
hadoop.tmp.dir/usr/local/hadoop-2.7.3/tmp
mapred-site.xmlmapreduce.framework.nameyarn
yarn-site.xmlyarn.resourcemanager.hostname<hostname>
yarn.nodemanager.aux-servicesmapreduce_shuffle

5.2.2、部署

  • 配置hadoop-env.sh,可以参考第4部分
  • 配置hdfs-site.xml 

 主要修改如下内容：

   进入到/usr/local/hadoop-2.7.3/etc/hadoop路径下：

cd /usr/local/hadoop-2.7.3/etc/hadoop
vi hdfs-site.xml
<!-- 数据块的冗余度，默认是3 -->
<!-- 一般来说，数据冗余度跟数据节点的个数一致，最大不超过3 -->
<property>
    <name>dfs.replication</name>
    <value>1</value>    
</property>

<!-- 禁用了HDFS的权限检查，暂时可以不配置 -->
<property>
    <name>dfs.permissions</name>
    <value>fales</value>    
</property>

 配置截图如下：

  • 配置core-site.xml
<!-- 配置nameNode的地址 -->
<!--9000是通信端口 -->
<property>
    <name>fs.defaultFS</name>
    <value>hdfs://bigdata1:9000</value>    
</property>

<!--HDFS对应的操作系统目录，默认是linux的tmp目录 -->

<property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-2.7.3/tmp</value>    
</property>

 配置截图如下：

创建上面的/usr/local/hadoop-2.7.3/tmp路径

mkdir /usr/local/hadoop-2.7.3/tmp
  • 配置mapred-site.xml

 拷贝mapred-site.xml(默认是没有的)

cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
<!--配置Mapreduce运行的框架是Yarn-->
<!--默认没有，只为我们创建了templete文件-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>    
</property>

配置截图如下：

  •  修改yarn-site.xml
vi yarn-site.xml
<!--配置resourceManager的地址-->
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>bigdata1</value>    
</property>

<!--Mapreduce运行的方式洗牌-->
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>    
</property>

配置截图如下：

 

 5.3、对NameNode进行格式化
 

执行命令

hdfs namenode -format

 打印出如下截图，表示对NameNode进行格式化成功

 到   /usr/local/hadoop-2.7.3/tmp/路径下

执行tree命令，截图如下：

 5.4、启动hadoop

执行如下命令：

start-all.sh

启动是共计要输入4次密码，在你不输错的情况下

执行jps命令查看进程，截图如下：

5.5、操作hdfs和yarn

 创建路径：

cd /opt/temp
hdfs dfs -mkdir /input

把/opt/temp/data.txt文件上传到/input 目录下

hdfs dfs -put /opt/temp/data.txt /input

执行mapreduce任务

/usr/local/hadoop-2.7.3/share/hadoop/mapreduce
hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /opt/output/wc

运行截图如下：

也可以通过浏览器访问http://ip:8088/cluster可以看到任务执行的状态

执行如下命令查看统计结果：

hdfs dfs -cat /opt/output/wc/part-r-00000

 统计结果如下图：

 至此，hadoop的伪分布模式就部署成功了

6、免密码登录的原理和配置

6.1、免密码登录的原理

 6.2、免密码登录的配置

在A服务器上执行如下命令，一直回车

ssh-keygen -t rsa

然后执行

ssh-copy-id -i .ssh/id_rsa.pub root@bigdata1

其他的服务器可以将bigdata1改为其他服务器，@后面是哪个服务器，就是将公钥拷贝到对应的服务器.ssh/authorized.keys文件中

执行过程中需要输入一次密码，截图如下：

6.3、验证配置是否成功

执行如下命令,关闭hadoop服务

stop-all.sh

执行过程中不在需要输入密码，证明配置成功

7、搭建全分布模式 

7.1、全分布模式特点

  • 真正的分布式环境，用于生产
  • 具备hadoop所有功能：hdfs yarn
  • 3台机器

7.2、准备工作

  •  关闭防火墙
  • 设置主机名：在每台服务器上边执行步骤1.3
  • 配置免密码登录：在每台服务器上执行 
    ​ssh-keygen -t rsa

    然后执行分别执行

    ssh-copy-id -i .ssh/id_rsa.pub root@bigdata1
    ssh-copy-id -i .ssh/id_rsa.pub root@bigdata2
    ssh-copy-id -i .ssh/id_rsa.pub root@bigdata3
  • 安装jdk
  • 同步时间： 通过如下命令同步时间 
    date -s 2022-05-15
  •  在其他两台服务器上配置hadoop的环境变量，按照步骤2.3执行即可

 7.3、全分布式架构

7.3.1、主要配置参数如下表

参数文件配置参数参考值
hadoop-env.shJAVA_HOME/usr/local/jdk1.8.0_181
hdfs-site.xmldfs.replication2 
dfs.permissionsfalse
core-site.xmlfs.defaultFShdfs://<hostname>:9000
hadoop.tmp.dir/usr/local/hadoop-2.7.3/tmp
mapred-site.xmlmapreduce.framework.nameyarn
yarn-site.xmlyarn.resourcemanager.hostname<hostname>
yarn.nodemanager.aux-servicesmapreduce_shuffle
slaves从节点地址

7.3.2、部署

上述列表中前5项按照伪分布的修改配置文件修改即可，记得按照上述列表修改后面的参数即可(注意每个服务器修改core-site.xml)

第6项从节点地址配置如下：

执行命令

cd /usr/local/hadoop-2.7.3/etc/hadoop
vi slaves

将两个从节点的ip地址或者ip的映射加入到文件中，如下图

 7.3.3、对namenode进行格式化

执行命令

hdfs namenode -format

7.3.4、 把bigdata1的配置文件复制到bigdata2和bigdata3

在bigdata1 服务器上分别执行如下命令：

scp -r /usr/local/hadoop-2.7.3/ root@bigdata2:/usr/local
scp -r /usr/local/hadoop-2.7.3/ root@bigdata3:/usr/local

7.3.5、启动hadoop集群

在bigdata1上边启动集群，执行如下命令

start-all.sh

 截图如下：

 bigdata1上边启动了namenode,bigdata2和bigdata3上启动了datanode

7.3.6、验证hadoop集群是否部署成功

在bigdata1服务器执行如下命令

hdfs dfs -put /opt/temp/data.txt /input
cd /usr/local/hadoop-2.7.3/share/hadoop/mapreduce

 执行mapreduce程序

hadoop jar hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output/wc

注意：1、如果报如下错误：

 原因：可能是使用hadoop namenode -format格式化时格式化了多次造成那么spaceID不一致

解决方案：

  • 停止集群
stop-all.sh
  • 删除在hdfs中配置的data目录（即在core-site.xml中配置的hadoop.tmp.dir对应文件件）下面的所有数据;
rm -rf  /usr/local/hadoop-2.7.3/tmp/*
  • 重新格式化namenode
hdfs namenode -format
  • 重新启动hadoop集群
start-all.sh

2、如果报如下错误：

在yarn-root-resourcemanager-VM-0-26-centos.log日志下

解决方案：修改/etc/hosts文件,添加ip和对应的映射即可解决

ip VM-0-19-centos

IT秃头哥
关注
  • 2
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop的三种安装模式
fanyun2009的博客
01-01 4700
Hadoop的三种安装模式一、本地模式二、伪分布模式三、全分布模式 一、本地模式 本地模式的特点：没有HDFS, 只能测试MapRduce (不是运行在Yarn中, 做一个独立的Java程序来运行), 只需配置etc/hadoop/hadoop-env.sh中的JAVA_HOME 二、伪分布模式 伪分布模式的特点：在单机上，模拟一个分布式的环境，具备Hadoop的所有功能，只需要一台机器（主机名为...
搭建伪分布模式Hadoop.pdf
04-09
以下为文章部分标题 1.搭建单机模式Hadoop (1)关闭防火墙（2）关闭selinux防火墙（3）设置主机名（4）映射主机名与ip地址 2.安装JDK（2）上传JDK至服务器（4）配置JAVA环境变量...验证伪分布模式Hadoop是否安装部署成功
linux 伪分布式jps进程,第四讲：hadoop伪分布式部署并查看hdfs
weixin_39888049的博客
04-30 332
伪分布式：namenode和datanode都安装在本机上。操作流程如下：1、确保安装好jdk2、确保安装好hadoop，这里演示的用的是hadoop2.9.23、配置hadoop-env.sh、core-site.xml、hdfs-site.xml4、格式化hdfs5、启动namenode、启动datanode6、查看java进程，查看hdfs网页界面**********************...
2021-06-04
qq_45703821的博客
06-04 1万+
这里写自定义目录标题Hadoop大数据基础单选多选判断问答Hadoop环境设置单选多选判断填空问答HDFS单选多选判断填空问答YARN单选多选判断问答MapReduce单选多选判断填空问答HBase单选判断填空问答Hive单选判断填空Pig单选判断填空问答Flume单选判断填空问答Sqoop单选判断Zookeeper单选多选判断填空问答Ambari单选填空问答Mahout判断问答 Hadoop大数据基础 单选 Hadoop作者是（ ） A. Martin Fowler B. Kent Beck C.
最全Hadoop环境搭建_hadoop搭建，积累总结
最新发布
m0_74932057的博客
05-16 650
删除掉一些打印机，复印机，不需要的硬件选项，增加运行速度。使用VM的克隆的方法，创建三台虚拟服务器的主机，并且将三台服务器更名为master,slave1,slave2；先关闭主服务器master的开关，然后进行管理克隆操作。
GitChat·大数据 | 史上最详细的Hadoop环境搭建
热门推荐
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
2-1.Hadoop大数据集群搭建之---本地模式
xubo5868的博客
01-26 1212
hadoop本地运行模式
hadoop集群配置——本地模式-伪分布式-全分布式
m0_60688391的博客
10-11 305
hadoop集群搭建 local模式 首先准备三台虚拟机（centos7版） 配置网络和主机之间的映射关系，保证三台虚拟机之间能相互找到（需要root用户，三台虚拟机均需要配置）： vi /etc/hosts 在后面添加网络和主机的映射： 192.168.187.100 hadoop0 192.168.187.101 hadoop1 192.168.187.102 hadoop2 检验： ping hadoop0 ping hadoop1 ping hadoop2 关闭防火墙（需要ro
大数据学习笔记————基于 Linux CentOS 7 的 Hadoop 3.1.2 环境搭建（二）
菜鸟的编程之路
09-02 476
为在 CentOS 7 安装 Hadoop 进行系统配置 0. 目的: 配置 Linux 环境, 为安装 Hadoop 3.x 进行环境准备 需要配置: 1.配置时钟同步, 保证各个 Linux 主机时间同步 2. 配置网络, 保证开机启动网络连接 前面已经完成配置，不需再做。 3. 配置主机名, 配置 hosts 文件, master==》192.168.100.10 保证借助 HostNa...
Linux下部署Hadoop伪分布模式
01-20
　第一步：配置ssh本地登录证书（虽然为伪分布模式，Hadoop依然会使用SSH进行通信）   [hadoop@promote ~]$ which ssh /usr/bin/ssh [hadoop@promote ~]$ which ssh-keygen /usr/bin/...
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 ...
centos搭建Hadoop伪分布
11-21
在使用此文档之前，需要获取jdk压缩包及Hadoop压缩包，在以下百度网盘提供下载 jdk下载地址连接链接：https://pan.baidu.com/s/102vK-eAC7nCUs7pPimnqDQ 提取码：6mvo Hadoop下载地址链接：...
1.Hadoop3.2.1 单机伪分布集群安装
01-07
Hadoop3.2.1 单机伪分布集群安装 一.准备环境： 1台 linux 虚拟机(Centos7.x 64 位) ip 为：192.168.2.100 hostname 为：hadoop100 虚拟机基本环境配置： 集群用到的所有机器都参考此流程进行配置。 1.主机名设置 ...
【Hadoop集群搭建】Hadoop运行模式——本地模式（附Hadoop目录结构了解）
weixin_44891285的博客
02-10 1518
好接下来！我们来学习本地模式。 首先来了解一下H的目录结构。 马赛克涂掉的是我之后产生的文件,剩下的是一个原本的干干净净的目录。 介绍几个重要的常用的如下： Hadoop的运行模式分为 本地模式 / 伪分布式 / 完全分布式 三种，下面我们来讲第一种——最简单的也是最基础的 本地模式（Local/Standalone Operation） 顾名思义，本地模式是一种只运行在本机上的模式，“在默...
服务器centos7伪分布部署hadoop3.1.2
matthew_leung的博客
10-13 1399
为了毕业，我使用一台腾讯云的服务器部署hadoop进行开发。 系统：CentOS Linux release 7.7.1908 (Core) hadoop版本：hadoop-3.1.2.tar.gz 1、首先，我们必须要有java环境，java版本1.8（向上兼容到了j10）。同时要将java配置进环境变量中 [root@shengxi ~]# java -version openjdk...
Windows本地安装Hadoop
邵奈一的博客
12-15 3372
文章目录0x00 文章内容0x01 下载并解压1. 下载Hadoop安装包2. 解压Hadoop安装包0x02 配置执行环境1. 配置环境变量2. 拷贝相关文件到相应目录0xFF 总结 0x00 文章内容 下载并解压 配置执行环境 0x01 下载并解压 1. 下载Hadoop安装包 a. 此步骤略过 2. 解压Hadoop安装包 a. 如果你的Win系统当前用户不是管理员用户，为了保险起见，需............
安装Hadoop本地模式
dizaoshen1316的博客
06-26 94
安装环境先从简单的来在学复杂的，先学单台Hadoop的安装在进行集群的搭建！ 安装准备工作： 1、熟悉Linux常用命令 ，能够使用rz进行上传安装包 2、Linux中安装软件编译软件另说，非编译软件的安装思路：上传-->解压-->软连接-->环境变量-->source 即可 3.Hadoop的底层代码是java写的，要想安装Hadoop必须先安装j...
hadoop的本地部署
Cat God 007的博客
04-18 292
基础环境 1.一台电脑，电脑上有安装VMware Workstation 2.有centos7的镜像（任何版本都行） 3.远程连接软件 具体操作 1.创建用户 useradd hadoop-ch passwd hadoop-ch 两次输入密码，回车。 1-1.设置sudo用户 vi /etc/sudoers 加入如下内容（最后）： hadoop-ch ALL=(ALL) ALL 保存，退出（wq!）. 1-2.使用新创建的用户登陆linux ssh hadoop-ch@ip地址 2.安装Apache-
Hadoop 3.1.3 本地、伪分布、完全分布环境搭建 学习笔记
VanasWang的博客
04-22 1704
文章目录Hadoop大数据特点（4V）hadoop的优势一、Hadoop组成（重点）ModulesHDFS架构YARN架构MapReduce架构大数据生态体系二、Hadoop运行环境搭建（开发重点）虚拟机环境准备安装JDK安装Hadoop伪分布式启动HDFS启动YARN并运行MapReduce程序常用端口号完全分布式编写集群分发脚本xsync完全分布式集群规划: (按照3个副本来说)单节点启动集群...
hadoop单机模式 伪分布模式
08-28
Hadoop有两种模式：单机模式和伪分布模式。 在单机模式下，Hadoop被配置为在一台计算机上运行，所有的Hadoop组件（如HDFS和MapReduce）都在同一台计算机上运行。单机模式主要用于开发和测试目的，不适合处理大规模的数据。 而在伪分布模式下，Hadoop被配置为在一台计算机集群上运行，虽然Hadoop的各个组件仍然在同一台计算机上运行，但是它们会模拟分布式环境。这样可以模拟真实的分布式处理，并且能够处理更大规模的数据。 需要注意的是，伪分布模式并不是真正的分布式模式，它仅仅是为了方便开发者在单台机器上进行分布式处理的模拟环境。实际上，在伪分布模式下，Hadoop的性能可能会受到单台机器的限制。 如果你想在真正的分布式环境中使用Hadoop，你需要配置一个Hadoop集群，其中包含多台计算机，并将Hadoop的各个组件分布在这些计算机上。这样才能充分发挥Hadoop的分布式处理能力。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值