Linux环境搭建Hadoop及完全分布式集群

已于 2024-04-02 09:00:53 修改
阅读量2.2k 收藏 58
点赞数 53
分类专栏： 大数据 文章标签： 分布式 linux hadoop
于 2024-03-10 17:39:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cleverstronge/article/details/136605488
版权
本文详细介绍了如何配置和安装Hadoop分布式集群，涉及NameNode、DataNode、SecondaryNameNode的角色分配，环境变量设置，JDK和Hadoop分发，以及SSH免密登录和防火墙配置等步骤。
摘要由CSDN通过智能技术生成

Hadoop

Hadoop是一个开源的分布式计算框架，旨在处理大规模数据集和进行并行计算。核心包括两个组件：HFDS、MapReduce。

配置方案

各虚拟机的用户名分别为test0、test1、test2，主机名为hadoop100、hadoop101、hadoop102

虚拟机的分配如下：

  • hadoop100：NameNode + ResourceManager
  • hadoop101：DataNode + NodeManager
  • hadoop102：SecondaryNameNode

其中Master为hadoop100，这个配置方案可以提供集群的基本功能，Master节点负责管理整个文件系统的元数据和资源调度，而Worker节点负责存储数据和执行任务。

各节点的作用：

  1. NameNode：负责管理整个分布式文件系统的命名空间和文件元数据。它是HDFS的主节点，负责存储文件系统的元数据信息，并处理客户端的文件操作请求。将一台虚拟机作为NameNode节点可以提供高可靠性和容错性。
  2. SecondaryNameNode：主要负责协助NameNode进行元数据备份和检查点操作。它定期从NameNode获取编辑日志，并创建检查点，从而减少NameNode对元数据的负担和故障恢复时间。请注意，SecondaryNameNode并不是NameNode的备份，无法自动接管NameNode的角色。
  3. HDFS DataNode：负责存储和管理实际的数据块。它接收并处理从NameNode分配的数据块写入请求，并执行数据块的读取和复制操作。HDFS DataNode节点存储实际的数据块和后续读写操作。

安装Hadoop

上传压缩包，并解压

tar zxvf hadoop-3.3.6.tar.gz

打开环境变量注册表

vim /etc/profile

配置环境变量

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

配置生效

source /etc/profile

进入Hadoop的安装目录，编辑/etc/hadoop/hadoop-env.sh文件，设置JAVA_HOME为您的JDK安装路径

export JAVA_HOME=/opt/dev/jdk1.8.0_151

检查是否安装完成，使用命令查看hfs中的根目录

hadoop fs -ls /

由于Hadoop单机模式是一种用于开发和测试的模式，它并不需要进行集群和分布式环境的设置。在Hadoop单机模式下，默认情况下，Hadoop会使用当前用户的身份进行操作，而无需输入密码。

配置Hadoop分布式集群

前提条件：

  1. 三台Linux系统虚拟机（可使用VMWare软件进行克隆）定义为hadoop100、hadoop101、hadoop102
  2. 所有虚拟机都需要联通网络
  3. 虚拟机之间区别主机名
  4. 三台虚拟机都拥有相同路径版本的 JDK 和 Hadoop
设置主机名

首先分别打开三台虚拟机，分别使用下列指令将主机名修改。

由于NetworkManager服务的配置问题，直接使用hostname指令设置主机名在重启后会失效，需要每次开机重启，若想永久修改主机名生效，则修改/etc/hostname文件

vi /etc/hostname

下述的hadoop100是指新的主机名。同理修改其他的虚拟机主机名

hadoop100

分别检查虚拟机网络，当有数据返回时则无问题

ping www.baidu.com

编辑主机名列表文件

vi /etc/hosts

在文件加入，指定IP地址对应的hostname

192.168.10.128 badoop100
192.168.10.130 hadoop101
192.168.10.131 hadoop102

重启生效

reboot

在主机验证

ping hadoop101
分发 JDK 和 Hadoop

如果没有安装JDK和Hadoop，则可先在某一台虚拟机上安装完毕：

tar -zxvf /opt/jdk1.8.0_151.tar.gz

然后在该虚拟机上通过下列的集群分发脚本将 JDK和Hadoop分别分发到其他的虚拟机中，后续要输入yes和当前将要连接的hadoop101的密码：

# 将当前JDK发送到test1用户下主机名为hadoop101的/opt/dev/jdk1.8.0_151路径
scp -r /opt/dev/jdk1.8.0_151 test1@hadoop101:/opt/dev/jdk1.8.0_151  

# 将Hadoop发送到test2用户下主机名为hadoop102的/opt/dev/jdk1.8.0_151路径
scp -r /opt/hadoop/bin/hadoop test1@hadoop102:/opt/hadoop/bin/hadoop

记得配置环境变量，查看环境变量profile文件

vim /etc/profile

目标虚拟机都要设置环境变量

export JAVA_HOME=/opt/dev/jdk1.8.0_151
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/bin
export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

让配置文件生效

source /etc/profile

输入java指令检验Java是否安装成功

java -version

输入hadoop指令查看是否安装成功

hadoop
设置免密登录

配置SSHD：如果免密登录不生效或出现连接错误，可能是由于目标节点的SSH服务器配置不正确。在目标节点上，编辑/etc/ssh/sshd_config文件，确保以下设置：

sudo vim /etc/ssh/sshd_config

PubKeyAuthentication yes
PasswordAuthentication no  # 如果需要使用finalshell，那么可以不写这个

重启ssh服务：

sudo service ssh restart

分别在三个虚拟机中的~/.ssh目录下生成id_rsa和id_rsa.pub文件，分别对应着私钥和公钥：

ssh-keygen -t rsa -P ""

追加到新文件

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

修改id_rsa.pub文件的权限

chmod 644 ~/.ssh/authorized_keys

将主节点的公钥文件分发到集群中的各个节点上，使得节点可以进行免密登录。运行以下命令，其中test1、test2是目标节点的登录用户名，hadoop101、hadoop102是节点主机名：

ssh-copy-id -i ~/.ssh/id_rsa.pub test1@hadoop101
ssh-copy-id -i ~/.ssh/id_rsa.pub test2@hadoop102

输入完成后，输入目标机的密码，将主节点的公钥添加到从节点的~/.ssh/authorized_keys文件中。

远程登录目标机，测试是否成功共享密钥，如果可以成功登录且不用输入密码，则表示免密登录已经配置成功：

ssh test1@hadoop101
ssh test2@hadoop102
配置hadoop-env.sh

打开文件

vi etc/hadoop/hadoop-env.sh

修改文件

export JAVA_HOME=/opt/dev/jdk1.8.0_381
配置core-site.xml

打开文件

vi etc/hadoop/core-site.xml

修改文件：

fs.defaultFS：该参数是配置指定HDFS的通信地址。

hadoop.tmp.dir：该参数配置的是Hadoop临时目录

<configuration>
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://hadoop100:9000</value>
 </property>
 <property>
     <name>hadoop.tmp.dir</name>
     <value>/opt/hadoopTmp/</value>
 </property>
</configuration>
配置hdfs-site.xml

打开文件

vi  etc/hadoop/hdfs-site.xml

修改文件：

dfs.namenode.http-address：该参数是配置NameNode的http访问地址和端口号。因为在集群规划中指定hadoop100设为NameNode的服务器，故设置为hadoop100:9870。

dfs.namenode.secondary.http-address：该参数是配置SecondaryNameNode的http访问地址和端口号。在集群规划中指定hadoop102设为SecondaryNameNode的服务器，故设置为hadoop102:50090。

dfs.replication：该参数是配置HDFS副本数量，建议不超过从节点数。

dfs.namenode.name.dir：该参数是设置NameNode存放的路径。

dfs.datanode.data.dir：该参数是设置DataNode存放的路径。

<configuration>
 <property>
      <name>dfs.namenode.http-address</name>
      <value>hadoop100:9870</value>
 </property>
 <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop102:50090</value>
 </property>
 <property>
      <name>dfs.replication</name>
      <value>2</value>
 </property>
 <property>
      <name>dfs.namenode.name.dir</name>
      <value>/opt/hadoopTmp/dfs/name</value>
 </property>
 <property>
      <name>dfs.datanode.data.dir</name>
      <value>/opt/hadoopTmp/dfs/data</value>
 </property>
</configuration>
配置yarn-site.xml

打开文件

vi etc/hadoop/yarn-site.xml

修改文件：

参数说明：

yarn.resourcemanager.hostsname：该参数是指定ResourceManager运行在那个节点上。

yarn.resourcemanager.webapp.address：该参数是指定ResourceManager服务器的web地址和端口。

yarn.nodemanager,aux-services：该参数是指定启动时加载server的方式。

yarn.nodemanager.aux-services.mapreduce.shuffle.class：该参数是指定使用mapreduce_shuffle中的类。

yarn.log-aggregation-enable：该参数是配置是否启用日志聚集功能。

yarn.log-aggregation.retain-seconds：该参数是配置聚集的日志在HDFS上保存的最长时间。

yarn.nodemanager.remote-app-log-dir：该参数是指定日志聚合目录。

<configuration>
 <property>
    <name>yarn.resourcemanager.hostsname</name>
    <value>hadoop100</value>
 </property>
 <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>hadoop100:8088</value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
 </property>
 <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
 </property>
 <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
 </property>
 <property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>106800</value>
 </property>
 <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/user/hadoopcontainer/logs</value>
 </property>
</configuration>
配置mapred-site.xml

打开文件

 vi etc/hadoop/mapred-site.xml

修改文件参数说明：

mapreduce.framework.name：该参数是指定MapReduce框架运行在YARN上。

mapreduce.jobhistory.address：该参数是设置MapReduce的历史服务器安装的位置及端口号。

mapreduce.jobhistory.webapp.address：该参数是设置历史服务器的web页面地址和端口。

mapreduce.jobhistory.intermediate-done-dir：该参数是设置存放日志文件的临时目录。

mapreduce.jobhistory.done-dir：该参数是设置存放运行日志文件的最终目录。

<configuration>
 <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
 </property>
 <property>
     <name>mapreduce.jobhistory.address</name>
     <value>hadoop102:10020</value>
 </property>
 <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>hadoop102:19888</value>
 </property>
 <property>
     <name>mapreduce.jobhistory.intermediate-done-dir</name>
     <value>${hadoop.tmp.dir}/mr-history/tmp</value>
 </property>
 <property>
     <name>mapreduce.jobhistory.done-dir</name>
     <value>${hadoop.tmp.dir}/mr-history/done</value>
 </property>
</configuration>
开放防火墙端口
sudo ufw allow 9000     # 开放HDFS默认端口
sudo ufw allow 9870     # 开放NameNode的http访问地址和端口
sudo ufw allow 8088     # 开放master资源管理器WEb默认端口
sudo ufw allow 50090    # 开放SecondaryNameNode的服务器端口
sudo ufw allow 50020    # 开放DataNode通信端口
sudo ufw allow 8088    # 开放资源管理器的WEB通信端口
sudo ufw allow 10020    # 开放MapReduce通信端口
sudo ufw allow 19888    # 开放历史服务器通信端口
配置主次节点

PS：hadoop3以后slaves改为workers，打开文件：

vim etc/hadoop/slaves
vim etc/hadoop/workers

添加所有子节点的主机名：

hadoop101
hadoop102
分发配置文件

在其他节点查看下当前存放hadoop目录是否具有权限写入，否则后续分发将失败

ls -ld /opt/hadoop

如果没有权限，则输入下列指令开放hadoop目录的写入权限

sudo chmod -R 777 /opt/hadoop

将上述配置好的hadoop相关文件分发到其他虚拟机：

scp -r /opt/hadoop/* test1@hadoop101:/opt/hadoop/
scp -r /opt/hadoop/* test2@hadoop102:/opt/hadoop/
启动集群

在主节点输入格式化命令：

hdfs namenode -format

启动集群

start-all.sh

停止集群

stop-all.sh

验证是否成功

jps

当看到下列内容表示成功：

Master： NameNode、DataNode、ResourceManager、NodeManager

slave1： SecondaryNameNode、DataNode、NodeManager

slave2： DataNode、NodeManager

Web端访问

关闭防火墙：

service iptables stopservice iptables stop

访问HDFS：ip地址:9870；

访问YARN：ip地址:8088；

版本注意事项

  1. Hadoop3版本后，NameNode、Secondary NameNode, DataNode的端口出现了变化。

    2版本端口号3版本端口号
    namenode80209820
    namenode htttp web500709870
    namenode https web504709871
    secondnamenode https web500919869
    secondnamenode https web500919869
    secondnamenode http web500909868
    datanode ipc500209867
    datanode500109866
    datanode http web500759864
    datanode https web504759865

  2. Hadoop3版本之前的主从节点文件为slaves，3之后为workers

米糊老师
关注
  • 53
    点赞
  • 踩
  • 58
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
基于linux平台的Hadoop完全分布式集群搭建
s77的博客
12-28 4112
前一段因为课设搭建了基于linux的Hadoop集群，现将搭建过程记录如下，如有错误，望不吝指出。 注：下文从自己的课设报告中直接粘贴下来的，可能有些格式问题。 环境搭建        因为此次课程设计需要用到多台主机，所以选择在虚拟机中完成。三台虚拟机系统均选择Ubuntu16.04。虚拟机分配2G内存，100G硬盘，单个网络适配器，网络连接方式选择nat方式。大致情况如下图所示 ...
【Linux入门】Linux环境配置
热门推荐
阿伟的博客
12-04 1万+
Linux云服务器，虚拟机 环境搭建
Hadoop基础——安装指南（以Linux为例）
最新发布
2301_77572709的博客
06-15 955
Hadoop是一个由Apache基金会所开发的分布式系统基础架构，主要用于海量数据的存储和海量数据的分析计算。以下是关于Hadoop的详细介绍：一、基本概念Hadoop是一个能够让用户在不了解分布式底层细节的情况下，开发分布式程序的框架。它充分利用集群的威力进行高速运算和存储，其核心设计包括分布式文件系统（HDFS）和MapReduce编程模型。二、核心组件三、特点与优势四、适用场景。
Linux学习笔记——Hadoop安装部署
kuaixiao0217的博客
01-11 3214
主要介绍了Hadoop在Linux系统上的安装部署
Linux-Hadoop部署
Pythonwudud的博客
11-30 994
在伪分布式模式下， Hadoop程序的守护进程都运行在一台节点上，该模式主要用于调试Hadoop分布式程序的代码，以及程序执行是否正确。在完全分布式模式下，Hadoop的守护进程分别运行在由多个主机搭建的集群上，不同节点担任不同的角色，在实际工作应用开发中，通常使用该模式构建企业级Hadoop系统。由于Hadoop是由Java语言开发的，Hadoop集群的使用依赖于Java环境，因此安装Hadoop集群之前，需要先安装并配置好JDK。(-r：recursive - 递归)在配置Hadoop时，常用的就是。
Linux-Hadoop集群配置
Pythonwudud的博客
11-30 1351
一个名称节点（namenode）——老大，在master虚拟机上；三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。查看slave1和slave2上的进程，只有NodeManager和DataNode。可以不用设置名称节点的目录、数据节点的目录以及辅助名称节点。在slave1虚拟机上查看分发的hadoop。在slave2虚拟机上查看分发的hadoop。）在master虚拟机上，三个节点管理器（查看master虚拟机上的进程。查看slave1虚拟机上的进程。
linux 部署Hadoop完全分布式集群教程
qq_61247494的博客
10-06 1804
linux 部署Hadoop完全分布式集群教程
linux虚拟机搭建hadoop伪分布式集群
04-26
在搭建Hadoop伪分布式集群的过程中，首先需要在Linux环境下配置VMware的NAT网络，确保虚拟机能够稳定地运行和通信。...然而，在生产环境中，通常会部署完全分布式集群，以实现更大规模的数据处理能力。
Hadoop搭建完全分布式集群
12-11
在搭建Hadoop集群之前，确保所有服务器都运行相同的Linux发行版，并安装了Java Development Kit (JDK) 8或以上版本，因为Hadoop依赖Java环境。同时，配置好网络环境，确保节点间可以互相通信。 2. **配置环境变量*...
Hadoop2完全分布式集群搭建
08-26
搭建Hadoop2完全分布式集群需要具备以下环境： * JDK 1.7或更高版本 * Maven 3.0或更高版本 * Linux操作系统 3. 基本配置 在搭建Hadoop2完全分布式集群之前，需要进行基本配置： * 安装JDK并配置JAVA_HOME环境...
Hadoop系统完全分布式集群搭建方法
09-05
本文档详细介绍了如何搭建Hadoop完全分布式集群，包括安装Linux操作系统、设置静态IP、安装SSH并配置免密码访问机制、配置Hadoop集群等步骤。本文档旨在帮助Hadoop初学者快速搭建Hadoop集群环境。 一、安装Linux...
Hadoop搭建完全分布式集群.docx
12-11
该资源描述了在Linux系统下搭建Hadoop分布式集群的步骤，其中包含搭建步骤的详细解说以及有关hadoop组件的下载地址等信息
快速上手: Linux环境配置, 基本指令与项目部署要点
trong_ 的烂笔头
08-28 3220
Linux环境构建和介绍，XShell的安装与使用，Linux常用指令，在Linux上安装JDK，Tomcat和数据库，部署项目。
Linux 环境搭建一步到位，看这篇就够了！
养歌的博客
06-15 1万+
VMware Workstation 是一款功能强大的桌面虚拟软件，可模仿物理机器承载多个虚拟操作系统。VMWare下载地址链接：https://pan.baidu.com/s/1OFVRzCySbrzLs-P37Iw9gg 提取码：wiih安装博客：https://blog.csdn.net/babyxue/article/details/80970526这里我们采用 CentOS 7 操作系统，该系统是目前企业中使用率非常高的系统。下载地址：https://mirrors.aliyun.com/cent
linux搭建hadoop集群及MapReduce使用
jkjgj的博客
02-03 1157
本文主要介绍在linux虚拟机上搭建hadoop集群，及MapReduce使用
完全分布式hadoop/habes的环境搭建教程【含全套虚拟机打开即用】
Dalu_1226的博客
04-07 737
这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。本文的思路是：以安装部署Apache Hadoop2.x版本为主线，来介绍Hadoop2.x的架构组成、各模块协同工作原理、技术细节。安装不是目的，通过安装认识Hadoop才是目的。第一部分：Linux环境安装第一部分介绍Linux环境的安装、配置、Java JDK安装等。第二部分：Hadoop本地模式安装Hadoop本地模式只是用于本地开发调试，或者快速安装体验Hadoop，这部分做简单的介绍。
Hadoop配置集群/分布式环境
妙妙的博客
08-12 986
我的一台虚机上面装了三台Centos，hostname分别是Master，Slave1，Slave2，已经配置完无密码登陆，详解请看文章配置无密码登陆，接下来配置集群。 这里之配置正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 。 SlavesSlave1 Slave2core-site.
Linux环境下HDFS安装
xiaohu21的博客
08-15 3043
Linux环境下Hadoop集群安装 1.安装环境 VMWare15.x centos7.x hadoop 3.2.1 2.第一台虚拟机基础配置 2.1 先安装好一台linux虚拟机，并且设置好宿主windows的ip地址，VMWare中虚拟交换机的地址（宿主windows和虚拟交换机的ip地址必须同一网段，并且宿主windows的网关ip需要设置为虚拟交换机的ip地址）。 2.2设置好这台虚拟linux的配置，包括主机名（/etc/hosname）、ip地址/网关/子网掩码/DNS1等信息（/et
linux安装hadoop集群
qq_23731295的博客
09-27 510
hadoop集群环境搭建
Hadoop整本书电子教案完整版ppt课件全书教学教程最全教学课件.ppt
05-02
Hadoop整本书电子教案完整版ppt课件全书教学教程最全教学课件.ppt

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值