Hadoop教程(五)Hadoop分布式集群部署安装

最新推荐文章于 2025-03-12 12:47:12 发布
最新推荐文章于 2025-03-12 12:47:12 发布
阅读量1.5w 收藏 38
点赞数 8
分类专栏： Hadoop教程
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.csdn.net/yuan_xw/article/details/51175171
版权
本文详细介绍了如何部署Hadoop分布式集群，包括集群规划、软件下载、配置hosts文件、设置ssh免密码登录、关闭防火墙、上传软件、修改配置文件、配置Zookeeper集群、启动Zookeeper和JournalNode，以及最终启动HDFS和YARN，并验证了HDFS的HA主备切换功能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

 

Hadoop教程(五)Hadoop分布式集群部署安装

 

 

1 Hadoop分布式集群部署安装

在hadoop2.0中通常由两个NameNode组成，一个处于active状态，另一个处于standby状态。Active NameNode对外提供服务，而Standby NameNode则不对外提供服务，仅同步activenamenode的状态，以便能够在它失败时快速进行切换。

   hadoop2.0官方提供了两种HDFS HA的解决方案，一种是NFS，另一种是QJM。这里我们使用简单的QJM。在该方案中，主备NameNode之间通过一组JournalNode同步元数据信息，一条数据只要成功写入多数JournalNode即认为写入成功。通常配置奇数个JournalNode

  这里还配置了一个zookeeper集群，用于ZKFC（DFSZKFailoverController）故障转移，当ActiveNameNode挂掉了，会自动切换Standby NameNode为standby状态。



1.1 Hadoop分布式集群工作原理图

1.2 集群规划

主机名

IP

安装软件

运行进程

Hadoop1

192.168.1.121

Jdk、Hadoop

NameNode、DFSZKFailoverController

Hadoop2

192.168.1.122

Jdk、Hadoop

NameNode、DFSZKFailoverController

Hadoop3

192.168.1.123

Jdk、Hadoop

ResourceManager

Hadoop4

192.168.1.124

Jdk、Hadoop、Zookeep

DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop5

192.168.1.125

Jdk、Hadoop、Zookeep

DataNode、NodeManager、JournalNode、QuorumPeerMain

Hadoop6

192.168.1.126

Jdk、Hadoop、Zookeep

DataNode、NodeManager、JournalNode、QuorumPeerMain

 

1.3 相关下载

1、JDK下载地址：jdk-8u66-linux-x64.tar.gz

Linux安装JDK及环境变量配置，参见：http://blog.csdn.net/yuan_xw/article/details/49948285

 

2、Hadoop下载：hadoop-2.7.1.tar.gz

 

3、Zookeeper下载：zookeeper-3.4.5.tar.gz


1.4 配置hosts文件

配置Hadoop1服务器，执行命令：vi /etc/hosts

127.0.0.1    localhost

192.168.1.121   Hadoop1

192.168.1.122   Hadoo

最低0.47元/天 解锁文章
Hadoop集群安装部署
qq_45769990的博客
10-06 9918
hadoop集群安装部署 1、服务器主机名和IP配置（三台） 2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台） 3、管理节点到从节点配置无密码登录 4、配置jdk 1.8（三台） 5、关闭防火墙（三台） 6、关闭selinux（三台） vi /etc/selinux/config SELINUX=enforcing SELINUX=disabled 重启系统 安装流程 1、上传软件包到管理节点，在管理节点解压并配置 2、将修改完
Hadoop系统应用之Zookeeper分布式集群部署
m0_57464618的博客
04-26 1269
PS: server.1=yangjian00:2888:3888中，1代表服务器编号，yangjian00表示服务器IP地址，2888表示通讯端口号，3888表示leader选举端口号。（2）将myid文件分发到yangjian01 yangjian02 yangjian03服务器，并修改myid文件依次对服务器号进行设置。（1） 执行命令vi /etc/profile对profile文件进行修改，添加Zookeeper的环境变量。（2）.在zkdata文件夹下创建myid文件，该文件内容为服务器编号。
Hadoop集群安装详细步骤|Hadoop安装配置
yymmiinngg的专栏
07-06 432
Hadoop集群安装 　　首先我们统一一下定义，在这里所提到的Hadoop是指Hadoop Common，主要提供DFS（分布式文件存储）与Map/Reduce的核心功能。　　Hadoop在windows下还未经过很好的测试，所以笔者推荐大家在linux（cent os 5.X）下安装使用。　　准备安装Hadoop集群之前我们得先检验系统是否安装了如下的必备软件：ssh、rsync和Jdk1.6...
Hadoop 集群部署与配置详解
最新发布
a1199a的博客
03-12 1274
本文详细介绍了 Hadoop 集群的部署与配置过程，包括 JDK 解压与安装、IP 映射配置、环境变量配置、Hadoop 解压与安装、核心文件配置、目录创建、NameNode 初始化、集群启动以及安装验证等步骤。通过按照本文的步骤操作，可以成功搭建一个基础的 Hadoop 集群，为后续的大数据处理和分析奠定基础。在实际部署过程中，可能还需要根据具体的硬件环境和业务需求进行进一步的优化和调整。
hadoop集群部署
Cat God 007的博客
04-19 7684
hadoop简介 Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统+计算框架的软件框架，主要解决海量数据存储与计算的问题，是大数据技术中的基石。 Hadoop以一种可靠、高效、可伸缩的方式进行数据处理，用户可以在不了解分布式底层细节的情况下，开发分布式程序，用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。 Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。 hadoo
hadoop集群部署教程
zcs2312852665的博客
03-09 4437
本文介绍了如何安装和配置Hadoop，一个用于分布式存储和处理大规模数据的开源框架。通过按照本文提供的步骤，您可以在自己的机器上搭建一个Hadoop伪集群，并通过浏览器访问Hadoop的管理页面。本文详细介绍了安装准备、安装JDK、安装Hadoop、修改配置文件、格式化文件系统以及启动Hadoop的步骤。hadoop的只读默认配置文件位于安装目录下的目录。通过本文的指导，您已经学会了如何安装和配置Hadoop，并搭建了一个Hadoop伪集群。
Hadoop集群环境配置及安装配置（详细过程包含安装包）
热门推荐
2202_75347029的博客
07-07 4万+
进入到网络配置文件中。快照，是对虚拟机的当前状态进行保存，在虚拟机出现问题无法解决，可以通过返回快照，使虚拟机返回到快照拍摄状态。4.配置jdk软连接 命令：ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk。3.选择克隆对象，一共有两种方式，第一种是直接克隆虚拟机的当前状态，第二种是选取虚拟机的快照，克隆指定快照的虚拟机状态。构建软连接： ln -s /export/servers/jdk/bin/java /usr/bin/java。
Hadoop|hadoop伪分布式集群部署详细步骤
m0_68370888的博客
12-09 504
hadoop伪分布式集群详细部署步骤
Ubuntu20.04搭建Hadoop3.X完全分布式集群流程
LenMonLy的博客
07-04 1138
以Ubuntu64为主机，命名为master（PS:为保证环境的纯净博主在原有用户上新建了hadoop用户作为master）博主的配置: VMware Workstation 15 Pro + Ubuntu20.04 + Hadoop3.2.3。PS: Hadoop的下载可以到官网去下载，如果下载速度过慢，可以去。下载,搜索apache在里面就可以找到hadoop。博主也是在学习摸索的过程中，欢迎指出错误。网上也有很多相关教程，本博就不再细说。单独启动hdfs组件。单独启动yarn组件。
Hadoop伪分布式集群安装部署
郭龙飞的学习博客
02-19 1829
部署 下载安装包 上传并解压安装包 配置环境变量 修改配置文件 格式化 HDFS 修改脚本文件 启动并验证 停止集群 注意： 1、默认已安装并配置完成JDK环境 2、默认已安装并配置完成 CentOS7 Linux 环境 3、将当前主机名修改为 bigdata01 4、伪分布式集群一般在学习阶段使用 下载安装包 下载地址 https://hadoop.apache.org/ 点击 “download” 按钮 - 显示最新的版本，如果要下载早期版本点击如下连接 - 本教程已3.2.0版本为例
2024年最全Hadoop 完全分布式部署_hadoop分布式安装部署，2024年最新10年阿里开发架构师经验分享
2401_84181145的博客
05-14 880
创建分发脚本文件内容如下修改权限分别在node2、node3机器安装xsync命令把xsync命令发送到node2、node3。
hadoop集群安装
12-07
hadoop的分布式安装，三台服务器实现为例，分别是master
Hadoop集群安装
08-31
Hadoop集群安装的详细说明文档， 實作七： Hadoop 叢集安裝 前言 您手邊有兩台電腦，假設剛剛操作的電腦為"主機一" ,另一台則為"主機二" 。則稍後的環境如下 • 管理Data的身份 管理Job的身份 "主機一" namenode + datanode jobtracker + tasktracker "主機二" datanode tasktracker 這個實做會架設運作在叢集環境上的Hadoop，因此若是你的電腦還存在著 之前的實做一的環境，請先作step 0，以移除掉之前的設定。 • 確認您"主機一"的 hostname 與 "主機二" 的 hostname，並將下面指令 有 主機一與主機二 的地方作正確的取代 • 維持好習慣，請幫你待會要操作的主機設root密碼 • ~$ sudo passwd 清除所有在實做一作過的環境 在 "主機一" （有操作過 實做一 的電腦）上操作 • ~$ cd ~ ~$ /opt/hadoop/bin/stop-all.sh ~$ rm -rf /tmp/hadoop-hadooper* ~$ sudo rm -rf /opt/hadoop ~$ rm -rf ~/.ssh step 0. 設定機器的ip & hostname 資訊 step 1. 設定兩台機器登入免密碼 請注意我們實驗環境已經把 /etc/ssh/ssh_config裡的StrictHostKeyChecking改成no，下面的指令可以檢查，如果你的設定 不同的話，請修改此檔會比較順。 • $ cat /etc/ssh/ssh_config |grep StrictHostKeyChecking StrictHostKeyChecking no 在"主機一" 上操作 • 接著將key產生並複製到其他node上 • ~$ ssh-keygen -t rsa -f ~/.ssh/id_rsa -P "" ~$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys ~$ scp -r ~/.ssh 主機二:~/ 測試看看是否登入免密碼 • ~$ ssh 主機二 ~$ ssh 主機一 ~$ exit ~$ exit ~$ 完成後請登入確認不用輸入密碼，（第一次登入需按 yes ，第二次就可以直接登入到系統），以免日後輸入密碼不隻手軟而 已.... • step 2. 安裝java 為兩台電腦安裝java • "主機一" & "主機二" 都要操作以下指令 ◦ ~$ sudo apt-get purge java-gcj-compat ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre ~$ ssh 主機二 前言 清除所有在實做一作過的環境 step 0. 設定機器的ip & hostname 資訊 step 1. 設定兩台機器登入免密碼 step 2. 安裝java step 3. 下載安裝Hadoop到"主機一" step 4. 設定 hadoop-env.sh step 5. 設定 hadoop-site.xml step 6. 設定masters及slaves step 7. Hadoop_Home內的資料複製到其他主機上 step 8. 格式化HDFS step 9. 啟動Hadoop step 10. 停止hadoop 練習 页码，1/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 ~$ sudo apt-get purge java-gcj-compat ~$ sudo apt-get install sun-java6-bin sun-java6-jdk sun-java6-jre ~$ exit step 3. 下載安裝Hadoop到"主機一" 先在"主機一" 上安裝，其他node的安裝等設定好之後在一起作 • ~$ cd /opt /opt$ sudo wget http://ftp.twaren.net/Unix/Web/apache/hadoop/core/hadoop-0.18.3/hadoop-0.18.3.t /opt$ sudo tar zxvf hadoop-0.18.3.tar.gz /opt$ sudo mv hadoop-0.18.3/ hadoop /opt$ sudo chown -R hadooper:hadooper hadoop step 4. 設定 hadoop-env.sh "主機一" 上用gedit 編輯 conf/hadoop-env.sh • /opt$ cd hadoop/ /opt/hadoop$ gedit conf/hadoop-env.sh 將以下資訊貼入 conf/hadoop-env.sh 檔內 export JAVA_HOME=/usr/lib/jvm/java-6-sun export HADOOP_HOME=/opt/hadoop export HADOOP_CONF_DIR=/opt/hadoop/conf export HADOOP_LOG_DIR=/tmp/hadoop/logs export HADOOP_PID_DIR=/tmp/hadoop/pids 注意，在此實做中，我們多設定了HADOOP_PID_DIR及HADOOP_LOG_DIR的參數，並且把值寫入到我們hadooper的家目 錄中，此舉並非完全必要，但一個目的是介紹更多hadoop-env.sh內的參數，另一目的為讓log,pid等常變資料與hadoop家目 錄分離 • step 5. 設定 hadoop-site.xml 第二個設定檔是 hadoop-site.xml，由於官方所提供的範例並無法直接執行，因此我們參考線上文件，做了以下的修改。 • /opt/hadoop# gedit conf/hadoop-site.xml 將以下資料取代掉原本的內容 fs.default.name hdfs://主機一:9000/ mapred.job.tracker 主機一:9001 hadoop.tmp.dir /tmp/hadoop/hadoop-${user.name} 注意！ 我們多加了一個參數hadoop.tmp.dir，讓預設的中介資料存放在/tmp/hadoop/ 而不是/tmp/ 下，更多內容可以看 conf/hadoop-default.xml • 注意！fs.default.name = hdfs://主機一:9000/ ；而mapred.job.tracker = 主機一:9001，看出差異了嗎！一個有指 hdfs://，一個沒有，重要！易混淆。 • step 6. 設定masters及slaves 接著我們要編輯哪個主機當namenode, 若有其他主機則為datanodes • 編輯 conf/slaves ◦ 页码，2/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 /opt/hadoop$ gedit conf/slaves 原本內容只有localhost一行，請刪除此行並換上"主機一" 及"主機二" 的ip 主機一 主機二 step 7. Hadoop_Home內的資料複製到其他主機上 在"主機一" 上對遠端"主機二" 作開資料夾/opt/hadoop及權限設定 • /opt/hadoop$ ssh 主機二 "sudo mkdir /opt/hadoop" /opt/hadoop$ ssh 主機二 "sudo chown -R hadooper:hadooper /opt/hadoop" 複製"主機一" 的hadoop資料夾到"主機二" 上 • /opt/hadoop$ scp -r /opt/hadoop/* 主機二:/opt/hadoop/ step 8. 格式化HDFS 以上我們已經安裝及設定好 Hadoop 的叢集環境，接著讓我們來啟動 Hadoop ，首先還是先格式化hdfs，在"主機一" 上操作 • /opt/hadoop$ bin/hadoop namenode -format 執行畫面如： 09/03/23 20:19:47 INFO dfs.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = 主機一 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 0.18.3 STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/core/branches/branch-0.18 -r 736 ************************************************************/ 09/03/23 20:19:47 INFO fs.FSNamesystem: fsOwner=hadooper,hadooper 09/03/23 20:19:47 INFO fs.FSNamesystem: supergroup=supergroup 09/03/23 20:19:47 INFO fs.FSNamesystem: isPermissionEnabled=true 09/03/23 20:19:47 INFO dfs.Storage: Image file of size 82 saved in 0 seconds. 09/03/23 20:19:47 INFO dfs.Storage: Storage directory /tmp/hadoop/hadoop-hadooper/dfs/name has b 09/03/23 20:19:47 INFO dfs.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at 主機一 ************************************************************/ step 9. 啟動Hadoop bin/start-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動 datanode。 • 在"主機一" 上，執行下面的命令啟動HDFS： • /opt/hadoop$ bin/start-dfs.sh http://主機一:50070/ - Hadoop DFS 狀態 • 页码，3/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 • ps: 然而JobTracker還沒啟動，因此 http://主機一:50030/ 網頁無法顯示 • bin/start-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上啟動 tasktracker。 • 在"主機一"執行下面的命令啟動Map/Reduce： • /opt/hadoop$ /opt/hadoop/bin/start-mapred.sh 啟動之後, jobtracker也正常運作囉！ • http://主機一:50030/ - Hadoop 管理介面 • 页码，4/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018 • step 10. 停止hadoop 在"主機一" 上，執行下面的命令停止HDFS： • /opt/hadoop$ bin/stop-dfs.sh bin/stop-dfs.sh腳本會參照namenode上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停止 namenode ◦ 在"主機一" 上，執行下面的命令停止Map/Reduce： • /opt/hadoop$ bin/stop-mapred.sh bin/stop-mapred.sh腳本會參照jobtracker上${HADOOP_CONF_DIR}/slaves文件的內容，在所有列出的slave上停 止tasktracker。 ◦ 練習 看 conf/hadoop-default.xml 的更多內容 • 和別人組隊，組成4台node的cluster，其中"主機一" 只當 namenode ，"主機二" 只當 jobtracker，而node3, node4 兩台 電腦則身兼 datanode及tasktracker的工作。 • 页码，5/5 Hadoop_Lab7_018 – Cloud Computing 2011-03-25 http://trac.nchc.org.tw/cloud/wiki/Hadoop_Lab7_018
Hadoop大数据_安装jdk、hadoop
lhy857的博客
04-10 2427
安装jdk 一、开启网络,ifconfig指令查看ip 二、修改主机名 hostnamectl set-hostname hadoop 三、查看防火墙状态并打开防火墙 1.firewall-cmd --state查看防火墙状态 2.systemctl start iptables.service打开防火墙 3.reboot 重启Linux 四、删除已有的jdk 查看java安装版本：java -version 查看java安装包：rpm -qa|grep java 删除java安装包：
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值