Hadoop学习笔记之教你如何搭建Hadoop集群环境

最新推荐文章于 2024-10-01 01:39:24 发布
最新推荐文章于 2024-10-01 01:39:24 发布
阅读量655 收藏 5
点赞数 1
分类专栏： 大数据 文章标签： hadoop 环境搭建 hdfs NameNode DataNode
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hou_ge/article/details/105813856
版权
1、环境准备

  首先准备了三台虚拟机（为了避免环境的干扰，都是新建的虚拟机），分别分配了2G内存、40G硬盘、2核CPU，然后安装了CentOS-7-x86_64-Minimal-1810操作系统，并配置了静态IP地址。

集群规划：

搭建的是NameNode与ResourceManager单节点架构。节点具体分别如下：

服务器名称IP地址NameNodeSecondaryNameNodedataNodeResourceManagerNodeManager
node01192.168.1.8是是是是是
node02192.168.1.9否否是否是
node03192.168.1.10否否是否是

文件系统核心模块：
NameNode：集群当中的主节点，主要用于管理集群当中的各种数据
secondaryNameNode：主要能用于hadoop当中元数据信息的辅助管理
DataNode：集群当中的从节点，主要用于存储集群当中的各种数据
数据计算核心模块：
ResourceManager：接收用户的计算请求任务，并负责集群的资源分配
NodeManager：负责执行主节点APPmaster分配的任务

2、环境配置

1、设置主机名称

在三台服务器上分别执行如下指令即可。

#在192.168.1.8机器上执行
[root@localhost ~]# hostnamectl set-hostname node01
#在192.168.1.9机器上执行
[root@localhost ~]# hostnamectl set-hostname node02
#在192.168.1.10机器上执行
[root@localhost ~]# hostnamectl set-hostname node03

2、关闭防火墙

为了避免因为端口问题造成的干扰，在测试阶段，把防火墙暂时停掉。注意：在生产环境一般不建议停掉防火墙，尤其是可以连接互联网的服务。

[root@localhost ~]# systemctl stop firewalld.service #关闭防火墙
[root@localhost ~]# systemctl disable firewalld.service #禁止开机启动
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service.
[root@localhost ~]# firewall-cmd --state #查看防火墙状态
not running

3、关闭selinux

进入到/etc/selinux/config文件，将SELINUX=enforcing改为SELINUX=disabled。

vim /etc/selinux/config

在这里插入图片描述
4、设置免密登录

  1. 首先在node01服务器上通过使用 ssh-keygen 命令来生成秘钥，命令如下：

    ssh-keygen -t rsa

在这里插入图片描述
通过上面命令，在.ssh/目录下会生产如下文件：

  • id_rsa: 生成的私钥文件
  • id_rsa.pub: 生成的公钥文件

下面两个文件需要执行 ssh-copy-id 命令后产生。

  • authorized_keys: 存放远程免密登录的公钥,主要通过这个文件记录多台机器的公钥。
  • known_hosts: 已知的主机公钥清单
  1. 通过 ssh-copy-id 命令设置免密钥登录
    其中，192.168.1.8、192.168.1.9、192.168.1.10表示需要设置免密登录的服务器地址。
    ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.8
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.9
ssh-copy-id -i ~/.ssh/id_rsa.pub 192.168.1.10
3、安装JDK

有资料显示（未验证），在hadoop-2.7.5版本，不支持jdk1.8，所以这里安装了jdk1.7。同时需要保证当前系统没有安装过其他jdk，包括自带的openjdk。实际测试：hadoop-2.7.5版本可以使用jdk1.8。并且建议按照jdk1.8，后续使用Hive3.1.2的时候，出现了jdk版本低的问题。

1、解压jdk，并把解压文件复制到/export/servers/目录中，命令如下：

tar -zxvf jdk-7u75-linux-x64.tar.gz -C ../servers/

在这里插入图片描述2、配置环境变量，命令如下：

vim /etc/profile

配置如下内容：

export JAVA_HOME=/export/servers/jdk1.7.0_75
export PATH=:$JAVA_HOME/bin:$PATH

执行下面命令，让环境变量生效：

source/etc/profile

3、验证jdk安装是否成功，如下所示：
在这里插入图片描述

4、安装hadoop

1、解压hadoop，并把解压文件复制到/export/servers/目录中，命令如下：

tar -zxvf hadoop-2.7.5.tar.gz -C ../servers/

在这里插入图片描述2、配置环境变量，命令如下：

vim /etc/profile

配置如下内容：

export HADOOP_HOME=/export/servers/hadoop-2.7.5
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

执行下面命令，让环境变量生效：

source/etc/profile

3、修改hadoop的配置文件

需要修改以下配置文件，如图所示：
在这里插入图片描述

首先，修改core-site.xml文件，在<configuration>元素中添加相应的配置文件，如下所示：

<configuration>
	<!--  指定集群的文件系统类型:分布式文件系统 -->
	<property>
		<name>fs.default.name</name>
		<!--因为前面已经配置了服务器名称映射IP，所以这里可以使用服务器名称进行配置-->
		<value>hdfs://node01:8020</value>
	</property>
	<!--  指定临时文件存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.7.5/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
	</property>
</configuration>

其次，修改hdfs-site.xml文件，在<configuration>元素中添加相应的配置文件，如下所示：

<configuration>

	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<!-- 指定namenode的访问地址和端口 -->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<!-- 指定namenode元数据的存放位置 -->
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas,file:///export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2</value>
	</property>
	
	<!-- 指定namenode日志文件的存放目录 -->
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/nn/edits</value>
	</property>
	

	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits</value>
	</property>
	<!-- 文件切片的副本个数-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>

	<!-- 设置HDFS的文件权限-->
	<property>
		<name>dfs.permissions</name>
		<value>true</value>
	</property>

	<!-- 设置一个文件切片的大小：128M-->
	<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
	</property>
</configuration>

然后，修改yarn-site.xml文件，在<configuration>元素中添加相应的配置文件，如下所示：

<configuration>
	<!-- 配置yarn主节点的位置 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	
	<!-- 开启日志聚合功能 -->
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<!-- 设置聚合日志在hdfs上的保存时间 -->
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<!-- 设置yarn集群的内存分配方案 -->
	<property>    
		<name>yarn.nodemanager.resource.memory-mb</name>    
		<value>20480</value>
	</property>

	<property>  
        	 <name>yarn.scheduler.minimum-allocation-mb</name>
         	<value>2048</value>
	</property>
	<property>
		<name>yarn.nodemanager.vmem-pmem-ratio</name>
		<value>2.1</value>
	</property>

</configuration>

然后，修改mapred-site.xml文件，在<configuration>元素中添加相应的配置文件，如下所示：

<configuration>
	<!-- 开启MapReduce小任务模式 -->
	<property>
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<!-- 设置历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<!-- 设置网页访问历史任务的主机和端口 -->
	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>
</configuration>

然后，修改hadoop-env.sh、mapred-env.sh文件，如果前面已经在环境变量中配置了JAVA_HOME，这两个文件中的默认配置${JAVA_HOME}一般都会生效的，如果前面没有配置JAVA_HOME环境变量，这里可以直接配置JAVA_HOME，如下所示：

注：可以选择默认，不添加如下配置，在后续学习Hive中，因为jdk版本问题，浪费了较多时间。

export JAVA_HOME=/export/servers/jdk1.7.0_75

最后，修改集群配置文件slaves，添加如下信息：
在这里插入图片描述

4、创建hadoop需要的文件目录，命令如下：

mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/namenodeDatas2 
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/datanodeDatas2 
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/nn/edits
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/snn/name
mkdir -p /export/servers/hadoop-2.7.5/hadoopDatas/dfs/snn/edits
5、分发jdk、hadoop到node02、node03

到这里位置，hadoop的配置文件也完成了配置。这时候，关于jdk、hadoop的安装配置，同时需要在node02、node03上也重新来一遍，为了简化过程，下面通过scp命令把安装文件分发到node02、node03 。

在node02、node03上安装JDK

首先进入jdk、hadoop的安装目录，如下所示：
在这里插入图片描述
然后分发jdk，分别到node02、node03，命令如下：

scp -r jdk1.7.0_75 node02:$PWD 
scp -r jdk1.7.0_75 node03:$PWD

最后，配置环境变量，并验证jdk是否安装成功（参考前面配置，这里不再重复）。

在node02、node03上安装Hadoop

分发Hadoop，分别到node02、node03，命令如下：

scp -r hadoop-2.7.5 node02:$PWD 
scp -r hadoop-2.7.5 node03:$PWD

然后，配置环境变量（参考前面配置，这里不再重复）。

6、启动集群

启动 Hadoop 集群时，需要启动 HDFS 和 YARN 两个模块。当第一次启动 HDFS 时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。

首先，进行格式化（首次需要执行），命令如下：

cd  /export/servers/hadoop-2.7.5/ #首先进入hadoop根目录
bin/hdfs namenode -format #执行格式化命令

然后，启动hdfs集群，命令如下：

sbin/start-dfs.sh

再启动yarn集群，命令如下:

sbin/start-yarn.sh

最后，启动historyserver，查看历史完成的任务，命令如下：

sbin/mr-jobhistory-daemon.sh start historyserver

在这里插入图片描述

7、查看可视化界面，验证启动是否成功

1、首先访问：http://192.168.1.8:50070/explorer.html#/，用来查看hdfs，如下所示：
在这里插入图片描述

2、然后访问：http://192.168.1.8:8088/cluster，查看yarn集群，如下所示：
在这里插入图片描述

3、最后访问：http://192.168.1.8:19888/jobhistory，查看历史完成的任务，如下所示：
在这里插入图片描述

Hadoop集群如何启动
qq_28725295的博客
02-01 1854
Hadoop集群如何启动 1 hadoop软件安装的目录：/opt/app 有如下软件：hbase、spark-2.1.0-bin-hadoop2.4、hbconf、sqoop、hdconf、hive、zookper-3.4.6、hadoop-2.5.2、java1.8.0_121、spark-1.5.2-bin-2.5.2 集群1（分析集群）启动 依次zookper、hadoop服务、spark...
Hadoop集群搭建
leanaoo的博客
10-17 1050
上次说了Hadoop集群单机版的搭建,这次来依照单机版的基础搭建一个简单的集群版 规划 这次搭建的是一个主机和两个从机,也就是只有两个node节点,也可以让主机上有node节点,之后会说 主机名 cluster规划 master namenode,secondarynamenode,ResourceManager slave1 Datanode, NodeManager s...
如何搭建Hadoop集群环境
u014419512的专栏
06-09 135
第一步：安装 (1) 下载hadoop包 http://hadoop.apache.org/ (2) 登录需要配置hadoop的服务器(HadoopSrv01) su -gird(官方建议用grid账户搭建) (3) 解压 tar -xvf hadoop-2.1.0-bin.tar.gz 到一个目录比如/home/gird (4) 进入/home/gird 创建临时目录 tmp (5...
Hadoop集群搭建（详细版）
最新发布
qq_73824705的博客
10-01 2449
分别在hadoop101、hadoop102、hadoop103中修改 hosts 文件（主要用于映射 IP 地址和域名之间的连接）设置hostname，分别修改主机名为hadoop101、hadoop102、hadoop103，cat命令查看主机名。进入hadoop101，打开终端，设置为静态 ip ，添加 ip 地址、网关和域名。打开xshell，hadoop101、hadoop102、hadoop103建立连接。打开ens33并修改主机名为hadoop101，点击完成，开始安装。
手动搭建Hadoop环境
casepk的专栏
02-02 1013
  环境 namenode有2个，datanode有3个。   基础配置 环境变量 .bashrc(怕配覆盖就放.bash_profile中) ============= export PS1="[\u@\h|\w]\\$ "   #alias alias l='ls --group-directories-first --time-style=long-iso -l' a...
hadoop学习笔记(一、hadoop集群环境搭建).docx
10-30
【Hadoop集群环境搭建】 Hadoop是一个开源的分布式计算框架，它允许在大规模集群中运行应用程序，处理海量数据。在本文中，我们将详细介绍如何搭建一个Hadoop集群环境，包括必要的步骤和配置。首先，我们需要准备...
hadoop学习笔记(一、hadoop集群环境搭建).pdf
10-30
!
Hadoop学习笔记
01-20
在深入探讨Hadoop学习笔记之前，我们先了解一下Hadoop的核心组件和主要概念。Hadoop是一个开源框架，主要用于处理和存储大规模数据集。它基于Google的MapReduce编程模型和分布式文件系统GFS（Google File System）的...
hadoop学习笔记之hadoop集群搭建详细步骤
YF_Li123的博客
01-25 1742
本次集群的搭建是在之前的伪分布集群的基础上实现的，如果没有搭建好伪分布集群，可参看之前的详细教程： hadoop学习笔记之hadoop伪分布集群搭建（一） hadoop学习笔记之hadoop伪分布集群搭建（二） hadoop学习笔记之hadoop伪分布集群搭建（三） hadoop学习笔记之hadoop伪分布集群搭建（四） hadoop学习笔记之hadoop伪分布集群搭建（
最新Hadoop学习笔记
08-25
综上所述，这份“最新Hadoop学习笔记”涵盖了从环境搭建到项目实践的全过程，旨在帮助读者全面掌握Hadoop的核心技术和应用方式。通过阅读和实践，你将能够熟练地在大规模数据集上进行高效计算和存储。
最详细的Hadoop环境搭建
09-30
最详细的Hadoop环境搭建
Hadoop集群搭建超详细步骤及注意点
01-10
Hadoop集群搭建的详细步骤，涉及Linux：Centos6.5基础环境配置，Hadoop集群离线部署方式。
Hadoop集群的启动
weixin_44943389的博客
09-30 7237
在首次启动Hadoop之前还需要进行一些配置工作我们是在Linux集群上安装Hadoop集群。
hadoop集群安装
zyb0324的博客
06-02 203
Hadoop集群安装（三台机器） 安装jdk 先安装hadoop 以下出现 ./etc/hadoop，都是在hadoop的安装目录下执行的： 先安装单机版： （1） 减压：tar -zxvf /home/hadoop-2.8.4.tar.gz -C /usr/local/ （2） 配置环境变量：vim /etc/profile 立即生效：source /etc/profile （3...
如何搭建hadoop集群
yu247809536的博客
08-22 1446
1、先把四台虚拟机之间打通免密登录，如果不清楚如何进行免密登录可以看这篇Linux中root用户之间的免密登录 2、把hadoop-2.6.0-cdh5.14.2.tar.gz和hadoop-native-64-2.6.0.tar通过xftp传到vmmaster这个虚拟机主机/opt/install/hadoop中 3、将hadoop-2.6.0-cdh5.14.2.tar.gz加压到opt/bigdata/hadoop中 tar -zxf hadoop-2.6.0-cdh5.14.2.tar.gz -C
Hadoop的搭建
a778203081的博客
04-13 3063
hadoop的安装与配置 一：配置Linux免密登录，安装hadoop前要先配置Java 环境变量，点我的主页有详细的配置步骤，这里就不做详细的讲解。 二：下载地址为：链接https://hadoop.apache.org/. 一： 注意：不推荐下载太高版本 ①：关闭防火墙–永久关闭 systemctl stop firewalld systemctl disable firewalld ②：上传Hadoop的压缩包，到Linux下的home路径下，tar -zxvf hadoopx.x.x.tar
从零开始hadoop分布式环境搭建
CWeeYii的专栏
01-07 3803
1. Linux虚机换机环境安装1.1 linux环境安装1.建议选择虚拟机:VirtualBox 2.Linux版本：Ubuntu 3.安装时选择动态扩展磁盘，最大磁盘容量50G(最大磁盘容量太小，hadoop使用过程中容易出现意想不到的的问题） 4.网络选择桥接网卡（不要选择NAT，不然路由器不会为虚拟机分配独立的IP地址） 5.安装增强功能开启双向开启共享剪切板 6.安装用户使用同样
Linux上手把手教你搭建Hadoop集群
"这篇文章主要介绍了如何从零开始在Linux环境下搭建Hadoop集群，重点讲述了安装配置Hadoop前的准备，包括JDK的安装和SSH的设置。" 在搭建Hadoop集群之前，首先需要理解Hadoop的基本概念。Hadoop是一个开源框架，由...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

姠惢荇者

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值