搭建简易的hadoop集群(完全分布式)

已于 2024-03-27 09:59:26 修改
阅读量1.7k 收藏 21
点赞数 26
文章标签： 分布式 hadoop 大数据
于 2024-03-26 20:37:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45934766/article/details/137056920
版权

hadoop简易集群搭建(3节点 完全分布式)

前期准备工作—(已经下载下列软件包的无需重复下载)

新建虚拟机

  • 点击创建新的虚拟机

    Untitled

  • 选择自定义

    Untitled

  • 虚拟机硬件兼容性默认即可

    Untitled

  • 选择下载好的centos7光盘镜像

    Untitled

  • 找到你下载好的iso镜像位置，点击打开

    Untitled

  • 显示检测到centos7操作系统就可以了

    Untitled

  • 名称、用户名等可自定义

    Untitled

  • 修改虚拟机存放位置，尽量存放在空闲磁盘

    Untitled

  • 处理器配置随意，vm允许配置超过本机的cpu核心数

    Untitled

  • 内存分配根据自己电脑性能而定，最低不能低于512MB，多多益善

    Untitled

  • 使用NAT网络类型

    Untitled

  • IO控制器默认

    Untitled

  • 磁盘类型默认

    Untitled

  • 选择磁盘默认

    Untitled

  • 磁盘容量40GB，这不是实际占用的磁盘大小，请放心

    Untitled

  • 指定磁盘文件默认

    Untitled

  • 点击完成，等待安装

    Untitled

  • 安装完成

    Untitled

  • 登录，用户密码是刚刚在新建虚拟机时的那个账号密码

    Untitled

  • 右键打开终端

    Untitled

  • 切换到root用户

    su - root

    注意！此处需要输入密码，密码就是你在新建虚拟机时写的那个用户密码，这里输入密码没有回显！

    Untitled

  • 安装网络组件

    yum install net-tools

  • 配置虚拟机网络环境

    Untitled

    Untitled

    • 配置VM8虚拟网卡的dhcp服务器分配地址范围

      Untitled

      Untitled

    • 配置网关

      Untitled

      Untitled

      Untitled

  • 重启虚拟机

    reboot

    Untitled

  • 重启后打开终端，切换到root用户

    su - root

  • 配置网络文件

    vim /etc/sysconfig/network-scripts/ifcfg-ens33

    注意，网卡的名字不同，配置文件也不同！

    Untitled

    保存退出

  • 设置root密码

passwd root

Untitled

设置密码为root

  • 重启虚拟机

    reboot

  • 打开xshell，连接虚拟机

    Untitled

    Untitled

    Untitled

    Untitled

    Untitled

  • 安装分发工具

    yum install rsync -y

    Untitled

  • 编写集群分发脚本

    mkdir ~/bin && vim ~/bin/xsync

    #!/bin/bash
#1 获取输入参数个数，如果没有参数，直接退出
pcount=$#
if((pcount==0)); then
echo no args;
exit;
fi

#2 获取文件名称
p1=$1
fname=`basename $p1`
echo fname=$fname

#3 获取上级目录到绝对路径
pdir=`cd -P $(dirname $p1); pwd`
echo pdir=$pdir

#4 获取当前用户名称
user=`whoami`

#5 循环
#这里的主机名是hadoop101~hadoop103，要根据情况修改代码
for i in hadoop102 hadoop103 hadoop104
do
        echo ------------------- $i  --------------
        rsync -rvl $pdir/$fname $user@$i:$pdir
done

  • 给脚本赋权

    chmod +x ~/bin/xsync

  • 关机

    init 0

  • 右键，克隆虚拟机

    Untitled

    Untitled

    Untitled

    Untitled

    点击完成，克隆成功

    再按照以上步骤克隆一台虚拟机，名称为hadoop104

    Untitled

    完成后如下图

    Untitled

  • 配置克隆的网络文件

    • 开启hadoop103，切换至root用户

      su - root

      密码是root

    • 编辑网络配置文件

      vim /etc/sysconfig/network-scripts/ifcfg-ens33

      Untitled

      保存退出

    • 重启

      reboot

    • 开启hadoop104

    • 切换至root用户

      su - root

    • 编辑网络配置文件

      vim /etc/sysconfig/network-scripts/ifcfg-ens33

      Untitled

      保存退出

    • 重启hadoop104

      reboot

  • 启动hadoop102

    Untitled

    确保3台节点启动成功

  • 打开xshell，新建两个会话

    • hadoop103会话

      Untitled

      Untitled

      Untitled

      Untitled

      点击确定

    • hadoop104会话

      Untitled

      Untitled

      Untitled

      Untitled

      点击确定

    • 连接

      选中3个会话，点击连接

      Untitled

      弹出如下提示，输入yes即可

      Untitled

搭建hadoop3.x完全分布式集群

集群规划

hadoop102hadoop103hadoop104
namenoderesourcemanagerdatanode
datanodedatanodenodemanager
nodemanagernodemanagersecondarynamenode

  • 配置host映射

    • 点击hadoop102选项卡

      Untitled

    • 编辑hosts文件

      vim /etc/hosts

      192.168.138.102 hadoop102
192.168.138.103 hadoop103
192.168.138.104 hadoop104

      Untitled

      保存退出

  • 配置集群ssh

    • hadoop102配置ssh无密登录

      ssh-keygen -t rsa

      一直回车即可

      Untitled

      ssh-copy-id hadoop102

      输入yes，提示输入密码的地方输入root，这里也是没有回显的！！

      Untitled

      如上操作再将公钥复制到hadoop103、hadoop104

      ssh-copy-id hadoop103

      ssh-copy-id hadoop104

    • 分发hosts

      xsync /etc/hosts

    • hadoop103配置ssh无密登录

      点击hadoop103选项卡

      Untitled

      生成公钥

      ssh-keygen -t rsa

      Untitled

      如hadoop102的操作，将公钥复制到其他节点

      ssh-copy-id hadoop102

      ssh-copy-id hadoop103

      ssh-copy-id hadoop104

    • hadoop104配置ssh无密登录

      选择hadoop104选项卡

      Untitled

      生成公钥

      ssh-keygen -t rsa

      复制公钥到其他节点

      ssh-copy-id hadoop102

      ssh-copy-id hadoop103

      ssh-copy-id hadoop104

  • 上传hadoop安装包

    • 回到hadoop102选项卡

      创建目录

      mkdir /opt/software && cd /opt/software

    • 上传安装包

      开启xftp

      Untitled

      将下载好的hadoop和jdk移动到右边

      Untitled

      回到xshell

    • 创建目录并解压

      mkdir /opt/module

      tar -zxvf /opt/software/hadoop-3.1.3.tar.gz -C /opt/module/

      tar -zxvf /opt/software/jdk-8u401-linux-x64.tar.gz -C /opt/module/

    • 改名

      mv /opt/module/jdk1.8.0_401/ /opt/module/jdk

  • 添加JAVA_HOME

    • 添加java环境变量

      vim /etc/profile

      #JAVA_HOME
export JAVA_HOME=/opt/module/jdk
export PATH=$PATH:$JAVA_HOME/bin

  • 添加HADOOP_HOME

    • 添加hadoop环境变量

      #HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

      Untitled

      保存退出

    • 刷新环境变量

      source /etc/profile

    • 分发环境变量

      xsync /etc/profile

  • 修改配置文件

    • 改名

      mv /opt/module/hadoop-3.1.3/ /opt/module/hadoop

    • core-site.xml

      vim /opt/module/hadoop/etc/hadoop/core-site.xml

      <configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop102:8020</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop/data</value>
        </property>
</configuration>

      Untitled

      保存退出

    • hdfs-site.xml

      vim /opt/module/hadoop/etc/hadoop/hdfs-site.xml

      <configuration>
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>
        <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoop102:9870</value>
        </property>
        <property>
                <name>dfs.namenode.secondary.http-address</name>
                <value>hadoop104:9868</value>
        </property>
</configuration>

      Untitled

    • yarn-site.xml

      vim /opt/module/hadoop/etc/hadoop/yarn-site.xml

      <configuration>

<!-- Site specific YARN configuration properties -->

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>hadoop103</value>
        </property>
</configuration>

      Untitled

    • mapred-site.xml

      vim /opt/module/hadoop/etc/hadoop/mapred-site.xml

      <configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop102:10020</value>
        </property>
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop102:19888</value>
        </property>
</configuration>

      Untitled

    • 在hadoop-env.sh配置java环境变量

      vim /opt/module/hadoop/etc/hadoop/hadoop-env.sh

      Untitled

      保存退出

    • 在sbin/start-dfs.sh , sbin/stop-dfs.sh 两个文件顶部添加以下参数

      vim /opt/module/hadoop/sbin/start-dfs.sh

      HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

      Untitled

      vim /opt/module/hadoop/sbin/stop-dfs.sh

      #!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

      Untitled

    • 在sbin/start-yarn.sh , sbin/stop-yarn.sh两个文件顶部添加以下参数

      vim /opt/module/hadoop/sbin/start-yarn.sh

      YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

      Untitled

      vim /opt/module/hadoop/sbin/stop-yarn.sh

      YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

      Untitled

    • 编辑workers添加集群节点主机名

      vim /opt/module/hadoop/etc/hadoop/workers

      hadoop102
hadoop103
hadoop104

      Untitled

    • 分发module目录

      xsync /opt/module

    • 格式化hdfs

      hdfs namenode -format

    • 关闭防火墙

      每台节点都执行以下命令

      systemctl stop firewalld && systemctl disable firewalld

    • 启动hadoop

      start-dfs.sh

      注意！yarn需要在hadoop103启动

      切换到hadoop103

      source /etc/profile

      start-yarn.sh

      切换到hadoop104

      source /etc/profile

    • 在各节点输入jps命令查看hadoop进程

      hadoop102

      Untitled

      hadoop103

      Untitled

      hadoop104

      Untitled

  • 在网页浏览器访问hadoop web页面

    192.168.138.102:9870

    Untitled

搭建完成！！

cola_pp
关注
  • 26
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【文章复现】基于主从博弈的社区综合能源系统分布式协同 优化运行策略
weixin_46671758的博客
04-20 1185
随着能源市场由传统的垂直一体式结构向交互竞争型 结构转变，社区综合能源系统的分布式特征愈发明显，传统 的集中优化方法难以揭示多主体间的交互行为。该文提出一 种基于主从博弈的社区综合能源系统分布式协同优化运行 策略，将综合能源销售商作为领导者，新能源冷热电联供运 营商和负荷聚合商作为跟随者，求解各方在追求目标最优时 的交互策略。%搜索空间维数（未知数个数） （1-24为售电价格，25-48为售热价格，49-96电需求响应价格，96-144为热需求响应价格）Max_Dt=20;%%%%%粒子初始化%%%%%
【Hadoop3.3.6全分布式环境搭建】
若兰幽竹
04-20 1010
上传jdk-8u171-linux-x64.tar.gz到/root目录下，然后执行下面的命令进行解压安装。如果不一样的话，我们在执行MapReduce程序的时候可能会存在问题.。将master上的hadoop环境复制到slave01 slave02。1）搭建一个时间同步的服务器，网上很多教程可以使用。4、配置免密码登录（配置两两之间的免密码登录）3、所有主机都需要配置主机名映射关系。所有的机器都需要产生一对密钥：公钥和私钥。
Hadoop搭建完全分布式集群
12-11
Hadoop搭建完全分布式集群
hadoop完全分布式集群搭建
09-24
hadoop完全分布式集群搭建
Hadoop 完全分布式搭建（超详细）
热门推荐
JIE的博客
10-24 2万+
到此为止，我们的 Hadoop 完全分布式就已经搭建完成啦！
搭建hadoop-完全分布式模式
01-07
文章目录搭建简单的Hadoop完全分布式模式分析首先设置集群规划虚拟机准备设置静态ip与主机名，设置用户为超级用户配置java环境hadoop安装配置集群配置core-site.xmlHDFS 配置文件YARN 配置文件MapReduce 配置文件这是一台主机的配置，其他另外两台要一摸一样配置群起集群1. 配置slaves2. 启动集群测试是否启动成功集群启动/停止方式组件分别启动停止整体启动需要注意后面的内容配置，会逐渐写出来！！！ 搭建简单的Hadoop完全分布式模式 分析 最少准备多台客户机（Zookeeper至少需要三台） 安装jdk 安装Hadoop 配置环境变量 单点启动 配置ss
Spark+hadoop+scala 完全分布式集群搭建过程及启动过程
07-08
对于想学习 Spark 的人而言，如何构建 Spark 集群是其最大的难点之一， 为了解决大家构建 Spark 集群的一切困难，Spark 集群的构建分为了五个步骤，从 零起步，不需要任何前置知识，涵盖操作的每一个细节，构建完整的 Spark 集群。
【Hadoop】完全分布式集群搭建
你不来，再美的天地，都狼藉 ~
03-23 5517
一学就会，Hadoop完全分布式（集群）搭建
Hadoop集群完全分布式搭建
qq_52884581的博客
09-29 4112
hadoop集群分布式的搭建
Hadoop完全分布式集群搭建
qq_64451048的博客
04-13 1993
Hadoop完全分布式集群搭建
hadoop2.8.4完全分布式集群搭建
07-22
本人搭建hadoop完全分布式集群时，写的文档，内有详细步骤，
3）BIGDATA搭建-Hadoop集群完全分布式坏境搭建.docx
04-16
3）BIGDATA搭建-Hadoop集群完全分布式坏境搭建.docx, 手把手教你搭起大数据环境来
Hadoop集群搭建-完全分布式
01-07
本文通过12个步骤实现Hadoop集群的完全分布式搭建 刚刚入门，如有错误请指出 文章目录1. 服务器准备2. 网络环境准备3. 服务器系统设置4. JDK环境安装5. Hadoop安装6. Hadoop文件配置：hadoop-env.sh（hadoop运行环境相关脚本）core-site.xml（hadoop核心配置）hdfs-site.xml（分布式文件系统HDFS相关配置）mapred-site.xml（MapReduce相关配置）yarn-site.xml（Yarn相关配置）slaves文件（里面写从节点所在的主机名，会在这些主机上启动DataNode）关于配置文件7. 将Hadoop
部署全分布模式Hadoop集群 实验报告
04-18
部署全分布模式Hadoop集群 实验报告一、实验目的 1. 熟练掌握 Linux 基本命令。 2. 掌握静态 IP 地址的配置、主机名和域名映射的修改。 3. 掌握 Linux 环境下 Java 的安装、环境变量的配置、Java 基本命令的使用。 4. 理解为何需要配置 SSH 免密登录，掌握 Linux 环境下 SSH 的安装、免密登录的配置。 5. 熟练掌握在 Linux 环境下如何部署全分布模式 Hadoop 集群。 二、实验环境 本实验所需的软硬件环境包括 PC、VMware Workstation Pro、CentOS 安装包、Oracle JDK 安装包、Hadoop 安装包。 三、实验内容 1. 规划部署。 2. 准备机器。 3. 准备软件环境：配置静态 IP；修改主机名；编辑域名映射；安装和配置 Java；安装和 配置 SSH 免密登录。 4. 获取和安装 Hadoop。 5. 配置全分布模式 Hadoop 集群。 6. 关闭防火墙。 7. 格式化文件系统。 8. 启动和验证 Hadoop。 9. 关闭 Hadoop。
Hadoop2.8.1完全分布式环境搭建过程
08-25
本文搭建了一个由三节点（master、slave1、slave2）构成的Hadoop完全分布式集群（区别单节点伪分布式集群），并通过Hadoop分布式计算的一个示例测试集群的正确性。对hadoop分布式环境搭建过程感兴趣的朋友跟随小编一起看看吧
架构师系列- 定时任务（一）- 单机和分布式定时任务比较
最新发布
dengwei_dw的专栏
04-26 637
在很多应用中我们都是需要执行一些定时任务的，比如定时发送短信，定时统计数据，在实际使用中我们使用什么定时任务框架来实现我们的业务，定时任务使用中会遇到哪些坑，如何最大化的提高定时任务的性能。我们这里主要介绍单机和分布式两大类的解决方案，并且简要介绍两类方案中的常见的应用组件或者框架的应用场景和基本的实现原理，重点分析下单机的定时任务的实现原理和优缺点。优点 ：可以与Spring集成、支持分布式、支持集群、性能不错。
pytest-xdist：远程多主机 - 分布式运行自动化测试
we chat：玩转测试开发
04-26 456
需要特别注意的是rsync功能被弃用，因为它的实现在远程工作者中再现开发环境方面存在缺陷，而且没有明确的解决方案。出于这个原因，rsync计划在4.0版中删除，让团队专注于一组较小的功能。请注意，SSH和套接字服务器不是计划删除的，因为它们是execnet功能集的一部分。：pytest-xdist插件使用新的测试执行模式扩展了pytest，最常用的是在多个CPU之间分发测试以加快测试执行，即。：在远程服务器端会生成一份相应的项目数据，因为我们使用的是 ./ 即 把当前项目远程拷贝到目标服务器执行。
使用 IPAM 解决方案简化分布式网络管理
ITmoster的博客
04-23 772
组织在采用分布式网络时，除了容量规划不佳之外，还面临着许多挑战，例如缺乏实时可见性、复杂性增加、反应性故障排除、可扩展性不足等等。但是，将 IPAM 和交换机端口映射解决方案合并到组织的网络中可以使其免于恶化。
【WPF】取色器-Color Extractor
黑夜中的潜行者
04-20 840
取色器是一个非常实用的小工具，网上也很多可供下载使用。为什么已有却还是想要自己去实现一个呢？一方面是因为工具虽小但毕竟涉及到操作系统 API 的使用。另一方面想要在技术上精进一些。实现思路测试通过 Hook 鼠标左键单击，获取到鼠标位于屏幕坐标位置，再获取当前位置所渲染的颜色。根据鼠标在屏幕中的坐标，获取系统渲染颜色，将颜色转换为对应的格式。订阅鼠标左键点击事件，将鼠标坐标获取到当前程序。
如何搭建hadoop完全分布式集群
05-16
搭建Hadoop完全分布式集群的步骤如下： 1. 准备好必要的硬件设备，包括多台服务器、网络交换机等。这些服务器需要运行相同版本的操作系统，如CentOS、Ubuntu等。 2. 安装Java环境，Hadoop是基于Java开发的，所以需要安装JDK。 3. 下载Hadoop安装包，解压缩到指定目录。配置Hadoop环境变量，包括HADOOP_HOME、JAVA_HOME等。 4. 编辑Hadoop配置文件。包括core-site.xml、hdfs-site.xml、yarn-site.xml等。在这些配置文件中，需要指定Hadoop的各种参数，如NameNode的地址、数据块的大小、副本数、ResourceManager的地址等。 5. 配置SSH免密登录，这是为了方便Hadoop集群内节点之间的通信，需要配置免密登录。 6. 格式化HDFS文件系统，使用hadoop namenode -format命令格式化文件系统。这个命令只需要在NameNode上运行一次即可。 7. 启动Hadoop集群，包括NameNode、DataNode、ResourceManager、NodeManager等服务。可以使用start-dfs.sh、start-yarn.sh等命令来启动这些服务。 8. 验证Hadoop集群的运行状态，包括查看NameNode的Web界面、查看HDFS中的文件、提交YARN任务等。 以上就是搭建Hadoop完全分布式集群的主要步骤。需要注意的是，每个步骤都需要仔细操作，尤其是配置文件的编辑和SSH免密登录的配置，一旦出错，可能会导致集群无法正常运行。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值