搭建单点Hadoop集群

最新推荐文章于 2023-06-24 15:27:47 发布
最新推荐文章于 2023-06-24 15:27:47 发布
阅读量241 收藏
点赞数
分类专栏： Hadoop 文章标签： hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40815637/article/details/115712530
版权

搭建单节点Hadoop集群

  • 集群环境规划
    在这里插入图片描述
  • 前提：已经拥有JDK环境，虚拟机联网，关闭防火墙，关闭selinux

注意：在此之前需要在node01-03中配置对应的地址映射，并且修改主机名分别为node01，node02， node03。

  • 1.修改主机名
vim /etc/sysconfig/network

修改内容如下，node01 为需要修改的主机名

NETWORKING=yes
HOSTNAME=node01

  • 2.添加域名映射
vim /etc/hosts

添加如下信息：对应为->主机IP地址 主机名

192.168.100.101 node01
192.168.100.102 node02
192.168.100.103 node03

1.上传Hadoop安装包并且解压，（这里上传的是重新编译后的）

cd /export/softwares
tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/
  • 在此介绍下我的目录结构安排如下所示：

在这里插入图片描述
/export/servies 为所有相关软件的安装目录
/export/softwares 为软件存放目录
在这里插入图片描述

2.修改配置文件信息

2.1 core.site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<!--  指定集群的文件系统类型:分布式文件系统 -->
	<property>
		<name>fs.default.name</name>
		<value>hdfs://node01:8020</value>
	</property>
	<!--  指定临时文件存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

2.2 hfds-site.xml文件

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>

	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<!-- 指定namenode的访问地址和端口 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<!-- 指定namenode元数据的存放位置 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<!-- 指定namenode日志文件的存放目录 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>
	<!-- 文件切片的副本个数-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<!-- 设置HDFS的文件权限-->
	<property>
		<name>dfs.permissions</name>
		<value>true</value>
	</property>

	<!-- 设置一个文件切片的大小：128M-->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

2.3 mapred-site.xml

<configuration>
	<!-- 开启MapReduce小任务模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<!-- 设置历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>192.168.100.101:10020</value>
	</property>

	<!-- 设置网页访问历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>192.168.100.101:19888</value>
	</property>
</configuration>

2.4 yarn-site.xml

<configuration>
	<!-- 配置yarn主节点的位置 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 开启日志聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置聚合日志在hdfs上的保存时间 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<!-- 设置yarn集群的内存分配方案 -->
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>20480</value>
	</property>

	<property>  
        	 <name>yarn.scheduler.minimum-allocation-mb</name>
         	<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

</configuration>

2.5 slaves文件删除localhost，添加salve主机名

node01
node02
node03

2.6 hadoop-env.sh 修改JAVA_HOME的value在这里插入图片描述

2.7 mapred-env.sh 同理修改JAVA_HOME的value

3.在node1主机上执行如下命令创建以上配置文件中需要的文件夹

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

4. 把在node01主机上配置的hadoop文件夹分发给node02和node03

cd /export/servers/
scp -r hadoop-2.7.5 node02:$PWD
scp -r hadoop-2.7.5 node03:$PWD

5. 配置hadoop环境变量

  • node01-03都需要进行配置
vim /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile

6. 启动集群

  • 注意：在第一次启动Hadoop时，需要对其进行格式化操作，因为此时的hdfs的在物理上是不存在的，分别执行如下命令操作。启动HDFS和YARN模块。
cd /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserve
  • 在浏览器端口进行查看，这里node01需要进行weindows本地ip地址映射才能使用node01访问，如果没有进行映射，就采用node01主机的IP地址进行访问。
  • http://node01:50070/ #/ 查看hdfs
  • http://192.168.100.101:8088/ #查看yarn集群
  • http://192.168.100.101:19888/ #查看历史完成的任务
  • 启动hdfs，并且采用查看成功后的进程信息。
[root@node01 hadoop-2.7.5]# sbin/start-dfs.sh
Starting namenodes on [node01]
node01: starting namenode, logging to /export/servers/hadoop-2.7.5/logs/hadoop-root-namenode-node01.out
node03: starting datanode, logging to /export/servers/hadoop-2.7.5/logs/hadoop-root-datanode-node03.out
node02: starting datanode, logging to /export/servers/hadoop-2.7.5/logs/hadoop-root-datanode-node02.out
node01: starting datanode, logging to /export/servers/hadoop-2.7.5/logs/hadoop-root-datanode-node01.out
Starting secondary namenodes [node01]
node01: starting secondarynamenode, logging to /export/servers/hadoop-2.7.5/logs/hadoop-root-secondarynamenode-node01.out
[root@node01 hadoop-2.7.5]# jps
2529 QuorumPeerMain
12931 Jps
12822 SecondaryNameNode
12647 DataNode
12509 NameNode
[root@node01 hadoop-2.7.5]#
  • 启动yarn模块。
[root@node01 hadoop-2.7.5]# sbin/start-yarn.sh
starting yarn daemons
starting resourcemanager, logging to /export/servers/hadoop-2.7.5/logs/yarn-root-resourcemanager-node01.out
node03: starting nodemanager, logging to /export/servers/hadoop-2.7.5/logs/yarn-root-nodemanager-node03.out
node02: starting nodemanager, logging to /export/servers/hadoop-2.7.5/logs/yarn-root-nodemanager-node02.out
node01: starting nodemanager, logging to /export/servers/hadoop-2.7.5/logs/yarn-root-nodemanager-node01.out
[root@node01 hadoop-2.7.5]# jps
13105 NodeManager
2529 QuorumPeerMain
12998 ResourceManager
12822 SecondaryNameNode
12647 DataNode
12509 NameNode
13422 Jps
[root@node01 hadoop-2.7.5]#
  • leader node主机启动完成之后，切换到follower主机中查看是否 follower node启动。
    这里切换到node02主机中，使用jps查看进程信息，发现有DataNode集成，表示启动成功，这个给Hadoop集群搭建成功。
[root@node02 ~]# jps
5666 DataNode
2482 QuorumPeerMain
5945 Jps
5787 NodeManager
[root@node02 ~]#
BigPanl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop集群配置（一，单点配置）
qq_35710240的博客
03-28 1243
参考书籍：Hadoop+Speak大数据巨量分析与机器学习整合开发实战。林大贵。不错  单点 集群  机器学习都可以。走一遍hadoop集群配置在一台节点上建立新用户Hadoop      useradd Hadoop   添加密码  passwd  hadoop 更新包：wh@vm0-ubuntu:~$ sudo apt update安装JDK:wh@vm0-ubuntu:~$ sudo apt...
单点搭建hadoop系统
weixin_30617695的博客
04-05 100
安装JDK 1.下载jdk1.6.0_20;(下载文件为jdk-6u20-linux-i586.bin); 2.进入到jdk文件所在目录，由于运行bin文件是需要权限的，所以运行如下命令：chmod u+x jdk-6u20-linux-i586.bin，使得当前用户有权限执行该文件； 3.在jdk文件所在目录下执行：sudo ./jdk-6u20-linux-i586.bin安装jdk; ...
hadoop 建立单点集群
来啊 快活啊
12-28 1229
hadoop-2.2.0 1.下载解压到/opt,文件夹改名hadoop 2./etc/profile.d文件夹下建立hadoop.sh 内容都是根据文档添加的 HADOOP_COMMON_HOME=/opt/hadoop HADOOP_HDFS_HOME=/opt/hadoop HADOOP_MAPRED_HOME=/opt/hadoop HADOOP
hadoop单机版搭建图文详解
尘一
05-03 227
  前置条件： 1、ubuntu10.10安装成功（个人认为不必要花太多时间在系统安装上，我们不是为了装机而装机的） 2、jdk安装成功（jdk1.6.0_23for linux版本，图解安装过程http://freewxy.iteye.com/blog/882784  ） 3、下载hhadoop0.21.0.tar.gz（http://apache.etoak.com//...
搭建单节点hadoop集群
m0_62464865的博客
06-21 178
本文档介绍如何设置和配置单节点 Hadoop 安装，以便可以使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS) 快速执行简单的操作。
Hadoop集群高可用的搭建
05-31
在构建Hadoop集群时，高可用（High Availability, HA）是一个关键特性，它旨在消除单点故障，确保服务的连续性和稳定性。本文将详细介绍如何在Hadoop 2.x版本中搭建HDFS-HA（Hadoop Distributed File System - High ...
hadoop集群服务搭建共6页.pdf.zip
11-21
**Hadoop集群服务搭建的关键知识点可能包括：** 1. **Hadoop环境准备**：包括安装Java开发套件（JDK）、配置环境变量，以及选择合适的硬件和操作系统。 2. **Hadoop版本选择**：选择稳定版或最新版，根据需求考虑...
Hadoop2.0 HA集群搭建步骤
08-11
所谓HA，即高可用，实现高可用最关键的是消除单点故障，hadoop-ha严格来说应该分成各个组件的HA机制——HDFS的HA、YARN的HA；通过双namenode消除单点故障；通过双namenode协调工作
hadoop2.6集群搭建手册
06-23
Hadoop集群允许数据分布式存储和处理，提高了效率并降低了单点故障的风险。 首先，理解Hadoop的核心组件是至关重要的。Hadoop主要由两个主要部分组成：HDFS（Hadoop Distributed File System）和MapReduce。HDFS是...
Linux_RedHat、CentOS上搭建Hadoop集群
08-13
【搭建Hadoop集群详解】 Hadoop是一个开源的分布式计算框架，专为处理和存储大量数据而设计。它的核心设计理念是高容错性、高效性和可扩展性，这使得Hadoop能够在大规模集群中处理PB级别的数据。Hadoop的可靠性源于...
Hadoop单节点的搭建
weixin_45154474的博客
03-14 286
参考文章： http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/ https://www.cnblogs.com/ocean-sky/p/8397778.html 1、Hadoop简介 Hadoop是一个又Apache基金会所开发的分布式系统基础架构。 主要解决海量数据的存储和分析计算问题。 Google的三篇论文： GFS ==> HDFS Map-Reduce ==> MR BigTable ==> HBase Hadoop
hadoop单节点集群部署
叶梨子
12-29 163
官网描述 本文在官网描述的基础上做部分补充 hadoop部署 类似于前一篇章的jdk部署 tar -zxvf hadoop-2.6.0-cdh5.16.2.tar.gz -C ~/app/ hadoop软件包常见目录说明 bin: hadoop客户端命令 etc: hadoop相关的配置文件存放目录 sbin:启动hadoop相关进程的脚本 share:常用例子 配置.bash_profile export HADOOP_HOME=/home/pearfl/app/hadoop-2.6.0-cd
Hadoop 基础搭建历程-单机单点（伪分布模式）
Wandys的博客
02-22 389
基础环境：    1、win10、hadoop3.0 jdk1.8.0    2、Ubuntu16、hadoop3.0、jdk1.8.0    Hadoop 下载地址：http://hadoop.apache.org/releases.html安装：windows：1、运行\hadoop-3.0.0\etc\hadoop&gt;hadoop-env.cmd 配置环境变量    问题：提示JAVA_...
配置hadoop集群服务之三-单点搭建
weixin_34273481的博客
07-18 159
hadoop单点搭建步骤详解： 1、讲解之前，说说Hadoop的三大核心组件，HDFS,YARN,MampReduce; （1）HDFS集群：负责海量数据的存储，集群中的角色主要有NameNode/DataNode/SecondaryNameNode。 　　1）HDFS的三个节点：Namenode，Datanode，Secondary Namenode 　　----Namenode：...
hadoop单点配置
weixin_30667649的博客
08-14 97
安装JDK脚本 tar -xzvf jdk-8u171-linux-x64.tar.gz mv jdk1.8.0_171/ /usr/local/ sudo tee -a /etc/profile <<-'EOF'JAVA_HOME=/usr/local/jdk1.8.0_171JRE_HOME=$JAVA_HOME/jreCLASS_PATH=.:$JAVA_HOME/lib/...
hadoop单点运行方式
Micon_blog
06-03 245
前言        由于目前是hadoop学习阶段，不建议配置集群方式学习，只需要配置hadoop的单点运行，或者伪分布式模式，以降低学习成本，当对hadoop掌握一定基础知识以及hadoop的思想，可以考虑在多台机器部署安装集群方式。 Hadoop 的单节点集群运行的启动步骤       1.安装教程请查看博客《hadoop安装》；       2.格式化HDFS：$HADOOP_H...
hadoop 单点配置
落叶翩翩的CSDN博客
09-06 1251
实验环境： vmware9+ubuntu12+jdk7（master：192.168.0.128 ） vmware9+ubuntu12+jdk7（salve：192.168.0.129 ） 首先去http://www.apache.org/dyn/closer.cgi/hadoop/common/下载hadoop，我下载的是1.2.1版本的，稳定版的 配置ubuntu的IP为固定IP，分别
Hadoop伪集群(单节点集群)安装（Centos7）
qq_26462567的博客
06-15 540
linux按照hadoop伪集群（单点集群）
头歌｜Hadoop单点部署，安装和管理
最新发布
m0_61546943的博客
06-24 6252
需要在第一关的基础上，若重置了需要从头开始。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值