Hadoop集群搭建(简要)

已于 2023-10-05 20:15:59 修改
阅读量221 收藏
点赞数
文章标签： hadoop 大数据 分布式
于 2023-10-05 20:14:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y215204/article/details/133547316
版权 
> 请确保你已经完成虚拟机的安装，并安装好java环境

集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起。

HDFS集群负责海量数据的存储，集群中的角色主要有：

NameNode、DataNode、SecondaryNameNode

YARN集群负责海量数据运算时的资源调度，集群中的角色主要有：

ResourceManager、NodeManager

那mapreduce是什么呢？它其实是一个分布式运算编程框架，是应用程序开发包，由用户按照编程规范进行程序开发，后打包运行在HDFS集群上，并且受到YARN集群的资源调度管理。

集群部署方式

Hadoop部署方式分三种：

1、Standalone mode（独立模式）
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。

2、Pseudo-Distributed mode（伪分布式模式）
伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。

3、Cluster mode（群集模式）-单节点模式-高可用HA模式
集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。

本教程采用三个节点组成集群

1、 Hadoop运行环境搭建

1.1、修改主机名和hosts文件

1）修改主机名称

sudo hostnamectl set-hostname <newhostname>
 
sudo hostnamectl set-hostname hadoop101
sudo hostnamectl set-hostname hadoop102
sudo hostnamectl set-hostname hadoop103

2）配置Linux克隆机主机名称映射hosts文件，打开/etc/hosts (此步操作三台机子都要执行)

[root@hadoop102 ~]# vim /etc/hosts

添加如下内容

192.168.24.xxx  hadoop102
192.168.24.xxx  hadoop103
192.168.24.xxx  hadoop104

3)关闭防火墙，关闭防火墙开机自启

[root@hadoop102 ~]# systemctl stop firewalld
[root@hadoop102 ~]# systemctl disable firewalld.service

1.2、SSH无密登录配置
1）hadoop102上生成公钥和私钥：

[root@hadoop102 .ssh]$ pwd
/home/shuidi/.ssh
 
[root@hadoop102 .ssh]$ ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
 
 
将公钥拷贝到要免密登录的目标机器上
[root@hadoop102 .ssh]$ ssh-copy-id hadoop102
[root@hadoop102 .ssh]$ ssh-copy-id hadoop103
[root@hadoop102 .ssh]$ ssh-copy-id hadoop104

2）hadoop103上生成公钥和私钥：

[root@hadoop103 .ssh]$ pwd
/home/shuidi/.ssh
[root@hadoop103 .ssh]$ ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
 
 
将公钥拷贝到要免密登录的目标机器上
[root@hadoop103 .ssh]$ ssh-copy-id hadoop102
[root@hadoop103 .ssh]$ ssh-copy-id hadoop103
[root@hadoop103 .ssh]$ ssh-copy-id hadoop104

3）hadoop104上生成公钥和私钥：

[root@hadoop104 .ssh]$ pwd
/home/shuidi/.ssh
 
[root@hadoop104 .ssh]$  ssh-keygen -t rsa
然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
 
将公钥拷贝到要免密登录的目标机器上
[root@hadoop104 .ssh]$ ssh-copy-id hadoop102
[root@hadoop104 .ssh]$ ssh-copy-id hadoop103
[root@hadoop104 .ssh]$  ssh-copy-id hadoop104

2、Hadoop部署
2.1
集群部署规划

注意：NameNode和SecondaryNameNode不要安装在同一台服务器

注意：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

首先，我们需要从官方网站下载Hadoop的最新版本。可以在官网link

打开Hadoop官方网站，点击“Downloads”选项卡。
在“Stable Releases”部分，找到最新的可用版本，并点击下载链接。
选择合适的版本（根据操作系统和需求），下载压缩包。

此时我们默认在/opt/tage/ 下面存放压缩包
/opt/service/下面存放解压后的文件

2.2 、
1)、进入到Hadoop安装包路径下

[root@hadoop102 ~]$ cd /opt/tage/

2)、解压安装文件到/opt/module下面

[root@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/service/

3)、查看是否解压成功

[root@hadoop102 software]$ ls /opt/service/hadoop-3.1.3
bin  etc  include  lib  libexec  LICENSE.txt  NOTICE.txt  README.txt  sbin  share

4)、将Hadoop添加到环境变量
（1）获取Hadoop安装路径

[root@hadoop102 hadoop]$ pwd
/opt/service/hadoop-3.1.3

(2）进入/etc/profile

[root@hadoop102 hadoop]$ vim /etc/profile

在profile文件末尾添加hadoop路径：（shitf+g）

#HADOOP_HOME
export HADOOP_HOME=/opt/service/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(3）保存后退出

:wq

(4)分发环境变量文件`

[root@hadoop102 hadoop]$  /home/root/bin/ xsync /etc/profile

(5)source 是之生效（3台节点）

[root@hadoop102 hadoop]$ source /etc/profile
[root@hadoop103 hadoop]$ source /etc/profile
[root@hadoop104 hadoop]$ source /etc/profile

3、配置集群
1）核心配置文件
配置core-site.xml

[root@hadoop102 hadoop]$ cd $HADOOP_HOME/etc/hadoop
[root@hadoop102 hadoop]$ vim core-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <!-- 指定NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:8020</value>
    </property>
<!-- 指定hadoop数据的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/service/hadoop-3.1.3/data</value>
    </property>
 
<!-- 配置HDFS网页登录使用的静态用户为root -->
    <property>
        <name>hadoop.http.staticuser.user</name>
        <value>root</value>
    </property>
 
<!-- 配置该root(superUser)允许通过代理访问的主机节点 -->
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
<!-- 配置该root(superUser)允许通过代理用户所属组 -->
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
<!-- 配置该root(superUser)允许通过代理的用户-->
    <property>
        <name>hadoop.proxyuser.root.users</name>
        <value>*</value>
    </property>
    <!--  默认配置下存在未授权漏洞，攻击者可以在未授权的情况下远程执行代码。需立即修复加固。禁止匿名访问，在配置文件<bin_path>/etc/hadoop/core-site.xml中增加或修改配置项：-->
    <property>  
        <name>hadoop.http.authentication.simple.anonymous.allowed</name>  
        <value>false</value>  
    </property>
</configuration>

2）HDFS配置文件
配置hdfs-site.xml

[root@hadoop102 hadoop]$ vim hdfs-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <!-- nn web端访问地址-->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>hadoop102:9870</value>
    </property>
    
    <!-- 2nn web端访问地址-->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop104:9868</value>
    </property>
    
    <!-- 测试环境指定HDFS副本的数量1 -->
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
</configuration>

3)YARN配置文件
配置yarn-site.xml

[root@hadoop102 hadoop]$ vim yarn-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <!-- 指定MR走shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- 指定ResourceManager的地址-->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>hadoop103</value>
    </property>
    
    <!-- 环境变量的继承 -->
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
    
    <!--yarn单个容器允许分配的最大最小内存 -->
    <property>
        <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>512</value>
    </property>
    <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>4096</value>
    </property>
    
    <!-- yarn容器允许管理的物理内存大小 -->
    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>4096</value>
    </property>
    
    <!-- 关闭yarn对物理内存和虚拟内存的限制检查 -->
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>
</configuration>

4）MapReduce配置文件
配置mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

文件内容如下：

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
 
<configuration>
    <!-- 指定MapReduce程序运行在Yarn上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>
<!-- 历史服务器端地址 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop102:10020</value>
</property>
 
<!-- 历史服务器web端地址 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop102:19888</value>
</property>

5）配置workers

[root@hadoop102 hadoop]$ vim /opt/service/hadoop-3.1.3/etc/hadoop/workers

在该文件中增加如下内容：

hadoop102
hadoop103
hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

4、 分发Hadoop

[root@hadoop102 hadoop]$ xsync /opt/service/hadoop-3.1.3/

5、启动集群
（1）如果集群是第一次启动，需要在hadoop102节点格式化NameNode（注意格式化之前，一定要先停止上次启动的所有namenode和datanode进程，然后再删除data和log数据）

[root@hadoop102 hadoop]$ bin/hdfs namenode -format

（2）启动HDFS

[root@hadoop102 hadoop]$ sbin/start-dfs.sh

Web端查看HDFS的Web页面：

http://hadoop102:9870/

y215204
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
hadoop集群搭建教程
03-07
在虚拟机上面搭建hdfs 集群亲测可用 记得 修改ip地址就行
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
hadoop集群搭建简要记录
独行侠的守望の博客
04-02 99
2019/03/09 21:46 准备4台服务器或者虚拟机【centos7】，分别设置好静态ip【之所以设置静态ip主要就是为了省心！！！】 【 　　centos7下面配置静态IP 参考地址：https://www.linuxidc.com/Linux/2017-10/147449.htm 　　　　cd /etc/sysconfig/network-scripts 　　　　ls 　　　...
Hadoop集群搭建全过程
weixin_44149208的博客
07-25 256
一 搭建虚拟机（虚拟机搭建过程） 1.在主页点击创建新的虚拟机 2.选择自定义高级，点击下一步 3.直接点击下一步 4.选择稍后安装操作系统，点击下一步 5.客户机系统选择Linux，版本是CentOS 64位，点击下一步 6.修改虚拟机名称与虚拟机存放位置，点击下一步 7.默认设置处理器数量为1；每个处理器的核心数量为1；总处理器核心数量为1 ，不需要更改设置，直接点击下一步 8.默认虚拟机的内...
Hadoop 3.2.4 集群搭建详细图文教程
誓言
01-15 1232
Hadoop 集群包括两个集群：HDFS 集群、YARN 集群。两个集群逻辑上分离、通常物理上在一起；两个集群都是标准的主从架构集群。逻辑上分离两个集群互相之间没有依赖、互不影响物理上在一起某些角色进程往往部署在同一台物理服务器上MapReduce 集群呢？MapReduce 是计算框架、代码层面的组件，没有集群之说。
Java基于Hadoop及微服务架构的前后端分离购物系统（源码）
Java笔记
09-20 4157
基于Hadoop及微服务架构的前后端分离购物系统。前台购物页面使用Vue+ElementUi,后台管理页面使用html和Ajax。后端使用Spring Boot+Spring Cloud+Nacos+OpenFeign+Spring Cloud GateWay+MyBatis进行开发，使用Shiro做登录验证和权限校验，使用支付宝的沙箱环境进行支付，使用ElasticSearch作为商品搜索服务，使用Hadoop的HDSF作为图片存储服务器，使用Spring Sessio
如何理解微服务架构
weixin_42538690的博客
06-27 1237
【摘要】 如果你是一名区块链或以太坊新手，一开始接触以太坊生态系统中的工具和技术时很可能会像我一样一头雾水。为了让大家对以太坊的技术生态有一个整体的了解，并熟悉各部分的组合，本篇文章就将对以太坊学习中经常会遇到的各种技术或工具组件进行简要的介绍。作者 | Mahesh Murthy编译 | reason_W以太坊以太坊（http://ethereum.org/）是一个智能合约区块链，用户可以在这个...
前后端分离项目-后端接口入门开发手记
jl15988
11-01 5088
在我们的业务逻辑中，可能需要自定义异常来抛出，由全局异常处理类来处理，这个时候考虑到返回的状态码和异常信息的不同，我们需要自定义异常类来配合全局异常处理在com.myblog包下创建common.lang包，并创建MyBlogException类，如下/**super(msg);super(msg);super(msg);} }然后我们就可以使用自定义的异常类来抛出异常了，如修改list接口。
Java网络商城项目 SpringBoot+SpringCloud+Vue 网络商城（SSM前后端分离项目）八（文件的上传FastDFS和校验）（Nginx的请求前缀配置，在发布项目的时候要注意）
程序员猫爪
08-09 1125
品牌新增功能（图片上传），（文件的上传FastDFS和校验）（Nginx的请求前缀配置，在发布项目的时候要注意），FastDFS（完善文件上传的保存功能以及显示图片），安装和使用（Centos下安装FastDFS），文件上传Java代码的实现，设置nginx上传文件大小的限制
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Hadoop集群搭建详细简明教程
05-16
该文件是：Hadoop集群搭建详细简明教程，简单明了，易于上手。
记Hadoop HA高可用性分布式集群搭建过程
weixin_33762321的博客
06-02 85
为完成毕业设计中并行算法测试，在学习后，自己在虚拟机搭建了一个基于Hadoop的分布式集群，在这里做个记录，菜鸟首次写博客，已深夜，下面直接进入主题： 规划与说明 在hadoop集群中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步active...
【Hadoop】创建Hadoop集群（3个节点）—— 安装部署一个3个节点构成的hbase集群
disy924的博客
06-27 6214
互联网的快速发展带来了数据快速增加，海量数据的存储已经不是一台机器所能处理的问题了。Hadoop的技术应运而生，对于伪分布式存储，Hadoop有自己的一套系统Hadoop distribution file system来处理，为什么分布式存储需要一个额外的系统来处理，而不是就把1TB以上的文件分开存放就好了呢，如果不采用新的系统，我们存放的东西没办法进行一个统一的管理。
hadoop(一)--双节点集群搭建
jasnet_u的博客
06-02 1771
一、环境准备     虚拟机：2台，centos6.5 x86_64系统          hadoopNode01   192.168.9.11          hadoopNode02   192.168.9.12      jdk：jdk-7u80-linux-x64.tar.gz (7系列的最后一个版本)      hadoop： hadoop-2.7.6.tar.gz   (2.7系列...
手把手教你安装Hadoop集群
小鱼吃猫
10-03 1865
手把手教你安装Hadoop集群
Hadoop3：MapReduce工作流程图解
Brave_heart4pzj的博客
06-07 328
Hadoop
Hadoop+Spark大数据技术 实验11 Spark 图
qq_64684039的博客
06-04 682
17周期末考试重点从第五章 scala语言开始比如：映射（匿名函数）
基于JSP技术的社区疫情防控管理信息系统
最新发布
a632341031的博客
06-07 237
随着科技的快速发展，社区疫情防控管理信息系统的开发变得日益重要。该系统采用JSP技术结合MySQL数据库，通过软件工程开发方法实现，以提高社区疫情防控的效率和便捷性。系统经过需求分析、总体设计、详细设计、功能测试等阶段，确保了良好的可读性、实用性和易扩展性。本系统旨在为社区疫情防控提供信息管理的高效解决方案，满足现代管理的需求。社区疫情防控管理信息系统的开发过程是充满挑战的，但通过不断的学习和实践，最终实现了一个功能齐全、操作简便、界面友好的系统。
Hadoop集群搭建
09-26
Hadoop集群搭建是一个开源的、可运行与Linux集群上的分布式计算平台。用户可以通过Hadoop存有基础环境的配置，包括虚拟机安装和Linux系统安装等步骤来搭建Hadoop集群。具体步骤如下： 1. 虚拟机的安装：首先安装虚拟机，创建所需的Linux虚拟机实例。 2. Linux系统安装： a. 环境准备：安装所需的软件和依赖项。 b. 虚拟机安装：在虚拟机中安装Linux操作系统。 3. Hadoop集群配置： a. 进入主节点配置目录：在主节点上进入Hadoop的配置目录。 b. 修改配置文件：根据需求修改core-site.xml、hdfs-site.xml和yarn-site.xml等配置文件。 c. 配置从节点：在每个从节点上进行相同的配置操作。 4. Hadoop集群测试：启动Hadoop集群并进行功能测试，确保集群正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值