Linux之Hadoop2.7.4集群搭建

最新推荐文章于 2024-08-14 21:58:44 发布
最新推荐文章于 2024-08-14 21:58:44 发布
阅读量696 收藏 2
点赞数 3
分类专栏： Linux环境文档 文章标签： linux hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42445425/article/details/120072808
版权

Hadoop2.7.4集群搭建

一、集群架构

简介：本hadoop集群采用了2namenode，3datanode的数据分布，各服务器具体运行进程见下表
在这里插入图片描述
注释：各服务的说明如下

  1. NameNode：负责请求的分发，两个namenode做主备
  2. DataNode：负责数据的存储
  3. DFSZKFailoverController：负责namenode主节点的选取
  4. JournalNode：负责namenode主节点的数据同步
  5. ResourceManager：负责数据节点管理
  6. NodeManager：被管理节点

二、下载上传解压安装

2.1下载hadoop-2.7.4
地址：(https://archive.apache.org/dist/hadoop/common/)
2.2上传hadoop-2.7.4到linux上
2.2.1 上传hadoop安装包到/opt/software下
2.2.2 解压hadoop-2.7.4到/opt/servers下
	  命令：tar -xvf hadoop-2.7.4.tar.gz -C ../servers
2.3修改配置文件，配置文件目录 /opt/servers/hadoop-2.7.4/etc/hadoop下
2.3.1修改配置core-site.xml文件
<configuration>
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://oms-hadoop-hbase-node1:9000</value>
  </property>
	<!-- 临时文件存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/home/admin/hadoop/datas/tmp</value>
	</property>
  <!-- 缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>8192</value>
	</property>
  <!-- 开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
<!-- 指定zookeeper地址 -->
        <property>
                <name>ha.zookeeper.quorum</name>
                <value>oms-zookeeper-kafka-1:2181,oms-zookeeper-kafka-2:2181,oms-zookeeper-kafka-3:2181</value>
		<!--<value>oms-hadoop-hbase-node1:2181,oms-hadoop-hbase-node2:2181,oms-hadoop-hbase-node3:2181,oms-hadoop-hbase-node4:2181</value>-->
        </property>
</configuration>
2.3.2修改配置hadoop-env.sh文件
配置jdk环境变量： export JAVA_HOME=/opt/edas/jdk/java
2.3.3修改配置hdfs-site.xml文件
<configuration>
<!--指定hdfs的nameservice为hdfs，需要和core-site.xml中的保持一致 -->
                <property>
                    <name>dfs.nameservices</name>
                    <value>hdfs</value>
                </property>
                <!-- ns1下面有两个NameNode，分别是nn1，nn2 -->
                <property>
                    <name>dfs.ha.namenodes.hdfs</name>
                    <value>oms-hadoop-hbase-node1,oms-hadoop-hbase-node2</value>
                </property>
                <!-- nn1的RPC通信地址 -->
                <property>
                    <name>dfs.namenode.rpc-address.hdfs.oms-hadoop-hbase-node1</name>
                    <value>oms-hadoop-hbase-node1:9000</value>
                </property>
                <property>
                    <name>dfs.namenode.http-address</name>
                    <value>127.0.0.1:50071</value>
                </property>
                <property>
                    <name>dfs.namenode.secondary.http-address</name>
                    <value>127.0.0.1:50091</value>
                </property>
                <!-- nn1的http通信地址 -->
                <property>
                    <name>dfs.namenode.http-address.hdfs.oms-hadoop-hbase-node1</name>
                    <value>oms-hadoop-hbase-node1:50071</value>
                </property>
                <!-- nn2的RPC通信地址 -->
                <property>
                    <name>dfs.namenode.rpc-address.hdfs.oms-hadoop-hbase-node2</name>
                    <value>oms-hadoop-hbase-node2:9000</value>
                </property>
                <!-- nn2的http通信地址 -->
                <property>
                    <name>dfs.namenode.http-address.hdfs.oms-hadoop-hbase-node2</name>
                    <value>oms-hadoop-hbase-node2:50070</value>
                </property>
                <!-- 指定NameNode的元数据在JournalNode上的存放位置 -->
                <!-- <property>
                    <name>dfs.namenode.shared.edits.dir</name>
                    <value>qjournal://oms-hadoop-hbase-node2:8485;oms-hadoop-hbase-node3:8485;oms-hadoop-hbase-node4:8485/hdfs</value>
                </property> -->
                <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
                <property>
                    <name>dfs.journalnode.edits.dir</name>
                    <value>/home/admin/hadoop/datas/journal</value>
                </property>
                <!-- 开启NameNode失败自动切换 -->
                <property>
                    <name>dfs.ha.automatic-failover.enabled</name>
                    <value>true</value>
                </property>
                <!-- 配置失败自动切换实现方式 -->
                <property>
                    <name>dfs.client.failover.proxy.provider.ns1</name>
                    <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
                </property>
                <!-- 配置隔离机制 -->
                <property>
                    <name>dfs.ha.fencing.methods</name>
                    <value>sshfence</value>
                </property>
                <!-- 使用隔离机制时需要ssh免登陆 -->
                <!-- <property>
                    <name>dfs.ha.fencing.ssh.private-key-files</name>
                    <value>/root/.ssh/id_rsa</value>
                </property> -->
                <!-- 文件副本数 -->
                <property>
                    <name>dfs.replication</name>
                    <value>2</value>
                </property>
                <property>
                    <name>dfs.namenode.name.dir</name>
                    <value>file:/home/admin/hadoop/datas/hdfs/name</value>
                </property>
                <!-- datanode（具体数据）数据存放目录 -->
                <property>
                    <name>dfs.datanode.data.dir</name>
                    <value>file:/home/admin/hadoop/datas/datanode/datanodeDatas</value>
                </property>
                <property>
                    <name>dfs.permissions</name>
                    <value>false</value>
                </property>
                <property>
                    <name>dfs.datanode.directoryscan.throttle.limit.ms.per.sec</name>
                    <value>1000</value>
                </property>
                <!-- 设置文件分块的大小：Block 128m-->
                <property>
                    <name>dfs.block.size</name>
                    <value>128m</value>
                </property>
                <property>
                    <name>dfs.balance.bandwidthPerSec</name>
                    <value>52428800</value>
                </property>
                
                <!-- 设置HDFS日志文件存放目录 -->
                <!-- <property>
                    <name>dfs.namenode.edits.dir</name>
                    <value>file:///opt/servers/hadoop-2.7.4/datas/dfs/nn/edits</value>
                </property>
                
                <property>
                    <name>dfs.namenode.checkpoint.dir</name>
                    <value>file:///opt/servers/hadoop-2.7.4/datas/dfs/snn/name</value>
                </property> -->

</configuration>
2.3.4 修改配置mapred-site.xml文件
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>oms-hadoop-hbase-node1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>oms-hadoop-hbase-node1:19888</value>
    </property>
	<property>
		<name>mapred.job.tracker</name>
        <value>http://oms-hadoop-hbase-node1:9001</value>
	</property>
</configuration>
2.3.5修改配置yarn-site.xml文件
<configuration>
<!-- Site specific YARN configuration properties -->
<!-- 指定resourcemanager地址 -->
	<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>oms-hadoop-hbase-node1</value>
    </property>
<!-- 指定nodemanager启动时加载server的方式 -->
	<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>oms-hadoop-hbase-node1:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>oms-hadoop-hbase-node1:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>oms-hadoop-hbase-node1:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>oms-hadoop-hbase-node1:8033</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>oms-hadoop-hbase-node1:8089</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>6</value>
	</property>
	<!-- 设置不检查虚拟内存的值，不然内存不够会报错 -->
	<property>
		<name>yarn.nodemanager.vmem-check-enabled</name>
		<value>false</value>
	</property>
	<property>
          <name>yarn.nodemanager.resource.memory-mb</name>
          <value>1024</value>
   </property>
   <property>
          <name>yarn.nodemanager.resource.cpu-vcores</name>
          <value>1</value>
  </property>

</configuration>
2.3.6修改配置slaves文件
配置所有的从机：
oms-hadoop-hbase-node2
oms-hadoop-hbase-node3
oms-hadoop-hbase-node4
2.4创建配置文件所需的文件存放目录
mkdir -p /home/admin/hadoop/datas/tmp
mkdir -p /home/admin/hadoop/datas/journal
mkdir -p /home/admin/hadoop/datas/hdfs/name
mkdir -p /home/admin/hadoop/datas/datanode/datanodeDatas
2.5把node1节点安装包分发到其它从机同目录下
scp -r hadoop-2.7.4/  oms-hadoop-hbase-node2:$PWD
scp -r hadoop-2.7.4/  oms-hadoop-hbase-node3:$PWD
scp -r hadoop-2.7.4/  oms-hadoop-hbase-node4:$PWD
2.6设置每个节点的环境变量
2.6.1 编辑 vi/etc/profile
	  配置 export  HADOOP_HOME=/opt/servers/hadoop-2.7.4/
	  	  export PATH=:$HADOOP_HOME/bin/:$HADOOP_HOME/sbin:$PATH
	  重新加载 source /etc/profile
2.7格式化HDFS
2.7.1在hadoop主目录下执行命令：bin/hdfs namenode -format
2.8启动集群
2.8.1 整体启动顺序(两种启动模式)
	  1.在node1主机执行：
	  	1)启动journalnode    hadoop-daemons.sh start journalnode
	  	2)启动namenode       /opt/servers/hadoop-2.7.4/sbin/start-dfs.sh
	  	3)启动nodemanager    /opt/servers/hadoop-2.7.4/sbin/start-yarn.sh
	  2.按步骤启动顺序：
	  	1)在oms-hadoop-hbase-1启动namenode
	  		命令：/opt/hadoop/sbin/hadoop-daemon.sh start namenode
	  	2)在oms-hadoop-hbase-node2,oms-hadoop-hbase-node3,oms-hadoop-hbase-node4启动journalnode
	  		命令：/opt/hadoop/sbin/hadoop-daemon.sh start journalnode
	  	3)在oms-hadoop-hbase-node1，oms-hadoop-hbase-node2上启动DFSZKFailoverController
	  		命令：/opt/hadoop/sbin/hadoop-daemon.sh start zkfc
	  	4)在oms-hadoop-hbase-2启动namenode
	  		命令：/opt/hadoop/sbin/hadoop-daemon.sh start namenode
	  	5)在oms-hadoop-hbase-2,oms-hadoop-hbase-3,oms-hadoop-hbase-4启动datanode
	  		命令：/opt/hadoop/sbin/hadoop-daemon.sh start datanode
	  	6)在oms-hadoop-hbase-1启动ResourceManager
	  		命令：/opt/hadoop/sbin/start-yarn.sh
2.9验证集群是否成功

2.9.1使用jps命令验证进程启动情况（在每台节点上使用jps输出如下）

	[18:05:20 root@oms-hadoop-hbase-node1 ~]# jps
	1632 ResourceManager
	1538 DFSZKFailoverController
	5609 Jps
	1199 NameNode
	
	[18:06:24 root@oms-hadoop-hbase-node2 ~]# jps
	514 DataNode
	866 NodeManager
	756 DFSZKFailoverController
	421 NameNode
	615 JournalNode
	7981 Jps

	[18:06:45 root@oms-hadoop-hbase-node3 ~]# jps
	10276 DataNode
	10376 JournalNode
	16572 Jps
	10478 NodeManager
	
	[18:06:59 root@oms-hadoop-hbase-node4 ~]# jps
	9748 NodeManager
	9546 DataNode
	18461 Jps
	9646 JournalNode

2.9.2使用hadoop dfsadmin -report命令查询hadoop整个集群运行状态

[18:05:20 root@oms-hadoop-hbase-node1 ~]# /opt/hadoop/bin/hadoop dfsadmin -report
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.

Configured Capacity: 300497776640 (279.86 GB)
Present Capacity: 300111845822 (279.50 GB)
DFS Remaining: 296452663851 (276.09 GB)
DFS Used: 3659181971 (3.41 GB)
DFS Used%: 1.22%
Under replicated blocks: 0
Blocks with corrupt replicas: 0
Missing blocks: 0
Missing blocks (with replication factor 1): 0
Live datanodes (3):
Name: 192.168.0.77:50010 (oms-hadoop-hbase-2)
Hostname: oms-hadoop-hbase-2
Decommission Status : Normal
Configured Capacity: 107320709120 (99.95 GB)

2.9.3web访问oms-hadoop-hbase-node1:50070,oms-hadoop-hbase-node2:50070查看namenode节点运行状态。
在这里插入图片描述
在这里插入图片描述
注释：可以看到oms-hadoop-hbase-node1是活动主节点，oms-hadoop-hbase-node2是备用节点。由此可见，集群的主备namenode节点运行正常。
2.9.4 web访问oms-hadoop-hbase-node1:8088查看datanode运行情况
在这里插入图片描述
注释：由此可见3个datanode全部运行正常。

以梦为馬Douglas
关注
  • 3
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Hadoop集群搭建
这家伙什么也没留下!
05-26 558
Hadoop运行模式 Hadoop运行模式包括：本地模式、伪分布式模式以及完全分布式模式。 Hadoop官方网站：Apache Hadoop 完全分布式运行模式搭建 第一章:服务器准备 1 准备三台服务，配置要求如下： 单台：内存4G，硬盘50G，安装必要环境 2 修改主机名（3台服务器） [root@master ~]# vi /etc/hostname 3关闭防火墙 [root@master ~]#systemctl stop firewalld [root@mast..
hadoop 2.7集群搭建
spd1987的专栏
01-01 1471
hadoop 2.7集群搭建版本介绍SSH免密 版本介绍 LINUX版本：centos6.5 64位版本 hadoop版本：2.7.7版本 JAVA版本：1.8.0 SSH免密
hadoop-2.7.4.tar.gz
08-18
windows编译好的hadoop-2.7.4版本安装包
大数据开发面试题必备20题
huangchunqq的博客
12-07 9054
2021年超全超详细的最新大数据开发面试题，附答案解析
hadoop-2.7.4-with-centos-6.5.tar.gz
09-02
hadoop-2.7.4版本源码包，经过在Centos6.5系统环境编译打包，适合64位Linux系统软件安装包，是我亲自编译的，花了不少时间，亲测有效，成功在Linux系统构建了Hadoop集群
Hadoop2.4.1集群搭建
站在网络的肩膀上,自学成才
02-27 3439
本文搭建Hadoop2.4.1分布式系统，包括NameNode ，ResourceManger HA，忽略了Web Application Proxy 和Job HistoryServer。  一概述（一）HDFS 1）基础架构 （1）NameNode（Master） 命名空间管理：命名空间支持对HDFS中的目录、文件和块做类似文件系统的创建、修改、删除、列
Spark2.3.0-Hadoop2.7.4集群部署
11-18
### Spark2.3.0与Hadoop2.7.4集群部署详解 #### 一、部署环境准备 在部署Spark2.3.0与Hadoop2.7.4集群之前，首先需要确保运行环境的稳定性与兼容性。本文将基于RedHat服务器进行详细讲解。 ##### 1.1 系统环境 - ...
hadoop2.7.4 spark2.2.1 最新版本环境搭建
12-17
### Hadoop 2.7.4 与 Spark 2.2.1 集群环境搭建详解 #### 一、概述 本文档旨在提供一份关于如何在三台虚拟机上搭建基于Hadoop 2.7.4 和 Spark 2.2.1 的大数据集群环境的详细指南。该文档适合于那些希望了解并实践...
hadoop-2.7.4.rar
04-24
本文主要针对"hadop-2.7.4.rar"这个压缩包文件，详细阐述如何在Windows操作系统上搭建和运行Hadoop环境，特别是关注"hadop.dll"这一核心组件。 一、Hadoop.dll的重要性 "Hadoop.dll"是Hadoop在Windows系统中的关键...
hadoop 2.7.4 在 windows下配置文件
11-27
不过，通过一些额外的配置，我们可以在Windows上搭建一个本地Hadoop开发环境。 首先，你需要下载Hadoop 2.7.4的二进制发行版，并解压到你选择的目录。这个压缩包中的文件应该包括了Hadoop的核心组件、MapReduce框架...
Hadoop 2.7.4 win10 64位 bin文件夹
11-30
Hadoop 2.7.4 是一个开源大数据处理框架的重要版本，主要针对Windows 64位操作系统。在Hadoop的架构中，`bin`文件夹...正确配置和使用这些文件，将能有效地在Windows环境中搭建和管理Hadoop集群，进行大数据处理任务。
hadoop2.7.4的安装
xiongliang19891002的博客
08-27 1042
1.下载hadoop2.7.1，地址 2.设置ssh的免密登录 ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys ssh localhost 3.设置Hadoop的配置文件 a).core-site.xml
Hadoop-2.7.4 集群快速搭建
weixin_34318956的博客
01-07 163
2019独角兽企业重金招聘Python工程师标准>>> ...
Hadoop集群部署-（完全分布式模式，hadoop-2.7.4）
maxuecsdn123456的博客
08-20 7842
查看网络IP，确定各个主机IP对应是否正确，并测试能否连接外网。
Hadoop2.7.4安装配置
weixin_30355437的博客
12-15 264
1. Linux环境 2. Java环境 　　下载：　　下载网址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 　　安装：　　/usr目录下新建java目录　　mkdir 　　　　　　　将下载好的jdk复制到此目录下解压　　cp tar -zxvf 　　配置：　　添加环境变量，/etc/prifil...
虚拟机搭建hadoop2.7.4
YonJarLuo的博客
09-02 8468
CentOS7.0安装配置hadoop2.7.4 资源准备 资源下载： hadoop官网下载链接 至于安装什么版本，看自己需求jdk官网下载链接 注意事项： 注意hadoop,jdk,centos都应该是64位或者32位的，以免出现无法预料的错误建议使用64位的 linux 虚拟机配置 系统配置： 虚拟机：一个master(Master.Hadoop),两个slave(
Hadoop2.7.4安装部署详解
林夕
07-09 3714
Hadoop集群安装文档一．安装步骤1 ． 发行版本Hadoop 发行版本分为开源社区版和商业版，社区版是指由 Apache 软件基金会维护的版本，是官方维护的版本体系。商业版 Hadoop 是指由第三方商业公司在社区版 Hadoop 基础上进行了一些修改、整合以及各个服务组件兼容性测试而发行的版本，比较著名的有 cloudera 的 CDH、mapR 等。我搭建的是社区版：Apache Hado...
Linux 定时任务
最新发布
flash的博客
08-14 347
在Linux系统中，cron是一个广泛使用的定时任务工具，允许用户安排周期性执行的任务（脚本或命令）。cron守护进程（crond）会读取配置文件（通常位于/etc/crontab），并根据这些配置文件中指定的时间规则来执行相应的任务。
Hadoop2.7.4 & Spark2.2.1 集群环境搭建指南
该资源提供了一种在三台服务器上构建Hadoop 2.7.4和Spark 2.2.1集群环境的方法，适用于学习环境搭建。在Linux系统中，使用JDK 1.8作为运行环境。文档涵盖了用户添加、文件权限设置以及Hadoop和Scala的安装步骤。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

以梦为馬Douglas

您的鼓励是对我最大的支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值