Linux环境下搭建Hadoop集群

最新推荐文章于 2024-05-22 22:08:04 发布
最新推荐文章于 2024-05-22 22:08:04 发布
阅读量146 收藏
点赞数 2
分类专栏： 笔记 文章标签： hadoop 大数据 linux hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45903673/article/details/111334716
版权

5、Hadoop安装

集群规划

服务器IP192.168.174.100192.168.174.110192.168.174.120
主机名node01node02node03
NameNode是否否
SecondaryNameNode是否否
dataNode是是是
ResourceManager是否否
NodeManager是是是
第一步：上传apache hadoop包并解压

解压命令

cd /export/softwares
tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/
cd hadoop-2.7.5.tar.gz
bin/hadoop checknative
第二步：修改配置文件
修改core-site.xml

使用nodepad++修改配置

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  core-site.xml

<configuration>

	<property>
		<name>fs.default.name</name>
		<value>hdfs://node01:8020</value>
	</property>
    
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>

	</property>

	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->

	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>
修改hdfs-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim hdfs-site.xml

<configuration>
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->

	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>	
    
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
    
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>

	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>


	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>

    <property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>

</configuration>
修改hadoop-env.sh

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  hadoop-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141
修改mapred-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-site.xml

<configuration>
    
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>


	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>
 
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>

</configuration>
修改yarn-site.xml

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  yarn-site.xml

<configuration>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>20480</value>
	</property>
	<property>  
        	 <name>yarn.scheduler.minimum-allocation-mb</name>
         	<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

</configuration>
修改mapred-env.sh

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim  mapred-env.sh

export JAVA_HOME=/export/servers/jdk1.8.0_141
修改slaves

修改slaves文件，然后将安装包发送到其他机器，重新启动集群即可

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/etc/hadoop
vim slaves

node01
node02
node03

第一台机器执行以下命令

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits

安装包的分发

第一台机器执行以下命令

cd  /export/servers/
scp -r hadoop-2.7.5 node02:$PWD
scp -r hadoop-2.7.5 node03:$PWD
第三步：配置hadoop的环境变量

三台机器都要进行配置hadoop的环境变量

三台机器执行以下命令

vim  /etc/profile

export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

配置完成之后生效

source /etc/profile
第四步：启动集群

要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个模块。
注意： 首次启动 HDFS 时，必须对其进行格式化操作。 本质上是一些清理和
准备工作，因为此时的 HDFS 在物理上还是不存在的。

hdfs namenode -format 或者 hadoop namenode –format

准备启动

第一台机器执行以下命令

cd  /export/servers/hadoop-2.7.5/
bin/hdfs namenode -format  只在安装后一次启动
sbin/start-dfs.sh       
jps  //测试
sbin/start-yarn.sh
sbin/mr-jobhistory-daemon.sh start historyserver

三个端口查看界面

http://node01:50070/explorer.html#/ 查看hdfs

http://node01:8088/cluster 查看yarn集群

http://node01:19888/jobhistory 查看历史完成的任务

白鸽…
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop-standAlone及伪分布式环境搭建
m0_61276219的博客
02-16 273
第一步：下载apache hadoop并上传到服务器 下载链接： http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz 上传至/opt/software 解压命令 cd /opt/software tar -zxvf hadoop-2.7.5.tar.gz -C ../module/ 第二步：修改配置文件 修改core-site.xml(建议使用notepad++进行修改) 末.
apache hadoop的standAlone集群的搭建
travellingMan的博客
09-21 204
1、集群的部署 运行服务 服务器IP 主机名 NameNode 192.168.52.100 node01 SecondaryNameNode 192.168.52.100 DataNode 192.168.52.100 Re...
Hadoop安装之standAlone单机
qq_15076569的博客
11-15 1130
hadoop安装1.x和2.x有三种安装架构，本文将介绍第一种安装模式standAlone 一：standAlone(单机) standAlone安装将所有服务都安装在一台机器上，如下： 运行服务 服务器IP NameNode 192.168.254.100 SecondaryNameNode ...
Linux操作系统——Hadoop集群搭建
最新发布
m0_70381931的博客
05-22 1231
Hadoop是一个开源的分布式计算框架，用于处理大规模数据集的存储和处理。它基于Google的MapReduce和Google文件系统（GFS）的思想，并使用Java语言编写。Hadoop的主要特点是高可靠性、可扩展性和高效性。
在Linux中进行hadoop集群搭建
weixin_43268590的博客
08-26 2728
在公网IP为x.x.x.x、y.y.y.y和z.z.z.z并装有Centos8的服务器上进行hadoop集群搭建，都安装hadoop-3.1.3和server-jre-8u202-linux-x64。
【云计算平台】Hadoop单机模式环境搭建
NingHai's blog
03-15 4062
Centos7环境 – Hadoop单机模式部署 接上一篇博客 点我跳转到虚拟机搭建，配置好虚拟机环境后进行hadoop单机模式的部署，我的云计算课程中只要求了简单的单机模式部署，如果有精力的话，应该会把伪分布式部署也简单地记录一下 1. Hadoop介绍： Apache Hadoop 项目为可靠，可扩展的分布式计算开发开源软件；Hadoop软件库是一个计算框架，可以使用简单的编程模型以集群的方式对大型数据集进行分布式处理； Apache Hadoop 软件库是一个框架，它允许使用简单的编程模型跨计算机
linux下Hadoop集群环境搭建
04-20
在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务，它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点，并构建Hadoop集群环境。 首先，我们需要准备一个基础...
linux下hadoop集群搭建
01-13
在Linux环境下搭建Hadoop集群是一项复杂但至关重要的工作，它涉及到多个步骤，包括理解Hadoop的基本概念、配置网络环境、安装必要的软件以及调整系统参数。本文将深入探讨这些知识点。 首先，我们需要了解Hadoop的...
linux下搭建hadoop环境步骤分享
01-20
1、下载hadoop包 wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz2、tar xvzf hadoop-0.20.2.tar.gz3、安装JDK..../jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录5、配置java环
详解搭建ubuntu版hadoop集群
09-15
在本文中，我们将详细阐述如何在Ubuntu 16.04环境下搭建Hadoop集群。Hadoop是一个开源的分布式计算框架，它允许处理和存储大量数据，尤其适合大数据分析。Ubuntu是Linux发行版中的一个流行选择，其稳定性和丰富的...
大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置.doc
08-21
【大数据技术基础实验报告-Linux环境下hadoop集群的搭建与基本配置】 实验主要涉及了大数据技术中的基础概念，包括Linux操作系统、Java环境、SSH服务、Hadoop集群的搭建与配置。以下是具体步骤和知识点的详细解释：...
linux搭建hadoop集群
weixin_52115456的博客
06-13 4650
  Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统（ Distributed File System），其中一个组件是HDFS（Hadoop Distributed File System）。HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据
超详细Linux搭建Hadoop集群
Sumuxi9797926的博客
11-03 877
总纲：1、准备3台客户机（关闭防火墙、静态IP、主机名称都设置好）2、3、配置环境变量4、安装Hadoop5、配置hadoop的环境变量6、配置集群7、群起测试。
在Linux中进行hadoop集群搭建(完全分布式)
askuld的博客
04-28 1292
命令：mkdir /home/hadoop/tmp。
hadoop平台搭建
qq_47468106的博客
07-08 365
Hadoop是一个分布式系统基础框架，它的 HDFS 、 MapReduce 、 HBase 分别是Google的GFS、MapReduce、BigTable这三个思想的实现。特点：高可靠。按位存储和处理数据的能力强，可靠性强。 高可用。它是在计算机集群间分配数据并完成计算任务的，这些集群可以扩展数以千计的节点。 高效性。能在节点间动态地移动数据，并保证各个节点的动态平衡，所以处理速度非常快。 高容错性。能够自动保存数据的多个副本。Hadoop部署方式分三种：1、Standalone mode（独立模式）
linux 部署Hadoop完全分布式集群教程
qq_61247494的博客
10-06 1815
linux 部署Hadoop完全分布式集群教程
Linux系统搭建Hadoop集群
我玩的很开心的博客
06-25 2072
Linux系统搭建hadoop集群 一、准备工作 安装包下载： 使用Oracle VM VirtualBox 创建Linux虚拟机： https://blog.csdn.net/and52696686/article/details/106837909 将IP地址设为：192.168.56.131 设置主机名：
Hadoop环境搭建--StandAlone式
fghtv的学习空间
03-13 240
第一步：下载apache hadoop并上传到服务器 下载链接： http://archive.apache.org/dist/hadoop/common/hadoop-2.7.5/hadoop-2.7.5.tar.gz 解压命令 cd /export/softwares tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/ 修改配置文件 第一台机器执行以下命令 cd /export/servers/hadoop-2.7.5/etc/hadoop ..
Hadoop安装部署的三种模式总结
weimingchao的博客
11-09 6100
目前来说，Hadoop的安装部署的模式一共有三种，就是如下三种： 本地模式 伪分布模式 全分布模式 1、独立模式（本地模式） standalone 默认的模式，无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。使用本地文件系统，而不是分布式文件系统。 2、伪分布模式 pseudodistributed 在一台主机模拟多主机。即，Hadoop的守护程序在本地计算机上运行，模拟集群环境，并
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值