Hadoop集群搭建（超详细）

最新推荐文章于 2024-04-27 23:53:56 发布
最新推荐文章于 2024-04-27 23:53:56 发布
阅读量4.2k 收藏 6
点赞数 5
分类专栏： Hadoop # Hdfs 文章标签： 大数据 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45798620/article/details/108955958
版权
Hadoop 同时被 2 个专栏收录
19 篇文章 1 订阅
订阅专栏
Hdfs
9 篇文章 0 订阅
订阅专栏

Hadoop三大公司

  • apache
  • hortonWorks
  • Cloudera
  • 星环科技（国内）

Hadoop的模块组成

  • HDFS：一个高可靠、高吞吐量的分布式文件系统。
  • MapReduce：一个分布式的离线并行计算框架。
  • YARN：作业调度与集群资源管理的框架。
  • Common：支持其他模块的工具模块。

Hadoop集群搭建（此案例需要三台虚拟机）

1、服务器主机名和IP配置（三台）

在这里插入图片描述

Linux：动态网络配置
Linux：静态网络配置 IP配置

2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台）
  • vim /etc/hosts
    文件中添加：
    IP地址 主机名 (# 第一台)
    IP地址 主机名 (# 第二台)
    IP地址 主机名 (# 第三台)
3、管理节点到从节点配置无密码登录

Linux：ssh无密码跳转登录目标服务器

4、配置jdk 1.8（三台）
5、关闭防火墙（三台）
  • /etc/init.d/iptables stop（关闭防火墙）
  • 防火墙设置：
    设置开机防火墙自启：chkconfig iptables on
    设置开机防火墙不自启（推荐）：chkconfig iptables off
6、关闭selinux（三台）
  • vi /etc/selinux/config
    将：SELINUX=enforcing 改为： SELINUX=disabled
    disabled：这行上面的那个单词记住位置方便记忆
7、重启系统
  • 关闭selinux后需要重启系统生效
8、软件包上传Hadoop安装包并解压

安装包上传至：/export/soft文件夹下

  • 解压到servers：
    tar -zxvf hadoop-2.6.0-cdh5.14.0-with-centos6.9.tar.gz -C …/servers/
    (servers是export文件下的子文件夹)
9、查看hadoop支持的压缩方式以及本地库

进入到bin目录：
在这里插入图片描述
./hadoop checknative
在这里插入图片描述

  • 安装openssl
    yum -y install openssl-devel
    查看：./hadoop checknative
    在这里插入图片描述
    为true就行
10、主节点修改配置文件

要修改的代码里要将node01改为主节点的主机名
要修改的代码里要将node01改为主节点的主机名
要修改的代码里要将node01改为主节点的主机名

  • 修改core-site.xml：
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    vim core-site.xml
    复制下列代码到xml内的configuration里
<property>
		<name>fs.defaultFS</name>
		<value>hdfs://node01:8020</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas</value>
	</property>
	<!--  缓冲区大小，实际工作中根据服务器性能动态调整 -->
	<property>
		<name>io.file.buffer.size</name>
		<value>4096</value>
	</property>

	<!--  开启hdfs的垃圾桶机制，删除掉的数据可以从垃圾桶中回收，单位分钟 -->
	<property>
		<name>fs.trash.interval</name>
		<value>10080</value>
</property>
  • 修改hdfs-site.xml：
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    vim hdfs-site.xml
    复制下列代码到xml内的configuration里
<!-- NameNode存储元数据信息的路径，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割   --> 
	<!--   集群动态上下线 
	<property>
		<name>dfs.hosts</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/accept_host</value>
	</property>
	
	<property>
		<name>dfs.hosts.exclude</name>
		<value>/export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop/deny_host</value>
	</property>
	 -->
	 
	 <property>
			<name>dfs.namenode.secondary.http-address</name>
			<value>node01:50090</value>
	</property>

	<property>
		<name>dfs.namenode.http-address</name>
		<value>node01:50070</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas</value>
	</property>
	<!--  定义dataNode数据存储的节点位置，实际工作中，一般先确定磁盘的挂载目录，然后多个目录用，进行分割  -->
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas</value>
	</property>
	
	<property>
		<name>dfs.namenode.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name</value>
	</property>
	<property>
		<name>dfs.namenode.checkpoint.edits.dir</name>
		<value>file:///export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
<property>
		<name>dfs.blocksize</name>
		<value>134217728</value>
</property>
  • 检查Hadoop-env.sh的jdk1.8路径： （不用改）
    在这里插入图片描述
    // 如果不对：Linux：JDK安装部署 里面参考修改系统配置
  • 修改mapred-site.xml：
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    cp mapred-site.xml.template mapred-site.xml
    vim mapred-site.xml
    复制下列代码到xml内的configuration里
<property>
<!--运行模式-->
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>

	<property>
	<!--JVM重用 -->
		<name>mapreduce.job.ubertask.enable</name>
		<value>true</value>
	</property>
	
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
</property>
  • 修改yarn-site.xml：
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    vim yarn-site.xml
    复制下列代码到xml内的configuration里
<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>node01</value>
	</property>
	<property>
<!-- nodemanager 上的附属服务，只有配置成mapreduce_shuffle 才能运行-->
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
</property>
  • 修改slaves：
    cd /export/servers/hadoop-2.6.0-cdh5.14.0/etc/hadoop
    vim slaves
    文件内：
主节点主机名
副节点1主机名
副节点2主机名

例：

node01
node02
node03
11、主节点创建文件存放目录
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/tempDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/namenodeDatas
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/datanodeDatas 
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/edits
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/snn/name
mkdir -p /export/servers/hadoop-2.6.0-cdh5.14.0/hadoopDatas/dfs/nn/snn/edits
12、安装包的分发
  • 将主节点的安装包分发到其他副节点
    cd /export/servers/
scp -r hadoop-2.6.0-cdh5.14.0 副节点ip:/export/servers/
或者
scp -r hadoop-2.6.0-cdh5.14.0 副节点主机名:/export/servers/
13、配置Hadoop的环境变量

三台机器都要进行配置Hadoop的环境变量

vim  /etc/profile.d/hadoop.sh

文件内：
export HADOOP_HOME=/export/servers/hadoop-2.6.0-cdh5.14.0
export PATH=:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
  • 重启profile文件后生效
    source /etc/profile
14、集群启动
  • 要启动 Hadoop 集群，需要启动 HDFS 和 YARN 两个集群。
    注意：首次启动HDFS时，必须对其进行格式化操作。本质上是一些清理和准备工作，因为此时的 HDFS 在物理上还是不存在的。
    在这里插入图片描述
格式化：
hdfs namenode  -format或者Hadoop namenode –format（进入到bin目录执行该代码）

在这里插入图片描述

方法一：(单个节点逐一启动)
cd /export/servers/hadoop-2.6.0-cdh5.14.0/sbin
在主节点上使用以下命令启动 HDFS NameNode： ./hadoop-daemon.sh start namenode 
在每个从节点上使用以下命令启动 HDFS DataNode： ./hadoop-daemon.sh start datanode 
在主节点上使用以下命令启动 YARN ResourceManager： ./yarn-daemon.sh  start resourcemanager 
在每个从节点上使用以下命令启动 YARN nodemanager： ./yarn-daemon.sh start nodemanager 
// 以上脚本位于hadoop-2.6.0-cdh5.14.0/sbin/目录下。如果想要停止某个节点上某个角色，只需要把命令中的start 改为stop 即可。

方法二：(脚本一键启动HDFS、Yarn)
cd /export/servers/hadoop-2.6.0-cdh5.14.0
sbin/start-dfs.sh
sbin/start-yarn.sh
停止集群：
sbin/stop-dfs.sh
sbin/stop-yarn.sh

方法三：(脚本一键启动所有)
cd /export/servers/hadoop-2.6.0-cdh5.14.0/
一键启动集群：
sbin/start-all.sh
一键关闭集群：
sbin/stop-all.sh

没事儿不要去停止集群

15、浏览器查看启动页面
hdfs集群访问地址：  http://主节点IP:50070

在这里插入图片描述

yarn集群访问地址：  http://主节点IP:8088

在这里插入图片描述

镜子里的宇宙
关注
  • 5
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hadoop集群搭建超详细步骤及注意点
01-10
Hadoop集群搭建的详细步骤，涉及Linux：Centos6.5基础环境配置，Hadoop集群离线部署方式。
Hadoop大数据集群搭建（超详细）
小飞飞V5的博客
05-21 3万+
本文主要介绍了Hadoop集群的搭建过程，图文详细，适合新手入门
尚硅谷hadoop3.x集群配置笔记及常见错误解决方式
m0_51404279的博客
10-24 4474
1.搭建集群准备工作 总体流程 准备3台客户机（关闭防火墙、静态IP、主机名称） 安装JDK 配置环境变量 安装Hadoop 配置环境变量 配置集群 单点启动 配置ssh 群起并测试集群 一、模板虚拟机的搭建 配置要求：IP地址192.168.10.100**、主机名称hadoop100、内存4G、**硬盘50G（内存硬盘大小根据电脑配置自行更改） 关于是否安装桌面：未安装桌面的版本需要要执行以下命令,用于配置工具包集合，包含ifconfig等命令以及软件...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
最新发布
2401_84181070的博客
04-27 859
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
Hadoop详细集群搭建
RomanyK的博客
03-16 1万+
Hadoop详细安装 环境：在虚拟机上，或者租一个服务器（用学生证可以认证白嫖喔，阿里云服务器等）
Hadoop集群搭建
qq_41537880的博客
03-09 1825
hadoop自学搭建，实战记录
Hadoop集群搭建详细教程
m0_65029172的博客
07-27 3527
Hadoop集群搭建详细教程
hadoop集群搭建(超级详细)
10-11
超详细集群搭建教程(从虚拟机安装到集群搭建完成，集群搭建成功验证)，每一个步骤都有，照做即可。 内有集群搭建所需安装包：hadoop2.2.0，zookeeper3.4.5
hadoop集群搭建
07-25
hadoop集群搭建关键性步骤，超级详细，轻松应对hadoop!
hadoop伪分布式搭建(超级详细)
10-11
hadoop伪分布式搭建(从虚拟机设置到搭建完成)，包含每一个步骤，照做即可，内有hadoop2.2.0安装包。
Hadoop集群的搭建（全网最详细，看了就会）
m0_74343117的博客
08-24 4304
Hadoop是Apache旗下的一个用java语言实现开源软件框架，是一个开发和运行处理大规模数据的软件平台。允许使用简单的编程模型在大量计算机集群上对大型数据集进行分布式处理。在搭建之前请一定要确保Hadoop集群搭建的前置准备已经完成，详细内容可以参考我的这篇文章。Hadoop安装包链接：https://pan.baidu.com/s/12R1q8ygEnosP9pVbX5rvxg提取码：LZZY。
Hadoop集群的搭建，巨详细的过程,一步步来必成
weixin_68251022的博客
06-02 6318
查看/etc/sysconfig/network-scripts/ifcfg-ens33配置文件的内容。不同于Windows系统采用菜单方式修改网络配置，Linux系统的网络配置参数是写在配置文件里的，ifcfg-ens33是CentOS 7.8版本的Linux系统中的网络配置文件，可以设置IP地址、子网掩码等网络配置信息。
搭建hadoop集群
ykx0_6的博客
04-23 1240
安装好3台linux虚拟机。
hadoop 集群搭建（详细版）
yujinlong2002的博客
03-16 1847
hadoop 大户据平台的搭建，内容自认为比较详细
Hadoop集群搭建（超级超级详细）
皮埃尔的博客
04-28 3万+
Hadoop集群搭建（超级超级详细）
Hadoop集群搭建详细步骤(只有JDK和Hadoop)
Helen_1997_1997的博客
02-12 2691
Hadoop集群搭建详细步骤，跟着尚硅谷做的，直接用root用户也可以
hadoop集群搭建（超详细版）
热门推荐
code__online的博客
05-03 10万+
1.准备好需要安装的软件 虚拟机VMware12.pro 操作系统CentOS 6.5 远程控制虚拟机的终端SecureCRT8.1 2.在虚拟机中安装CentOS操作系统 安装好虚拟机，图形界面如下图 创建新的虚拟机，选择自定义（高级），点击下一步 虚拟机硬件兼容性默认，浏览需要安装的CentOS6.5镜像文件 自定义用户名和密码（用于登录） 设置虚...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值