Hadoop完全分布式部署

最新推荐文章于 2024-05-16 17:43:54 发布
最新推荐文章于 2024-05-16 17:43:54 发布
阅读量2.6k 收藏 32
点赞数 8
分类专栏： Hadoop Linux 文章标签： hadoop 分布式 linux
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52626164/article/details/126196889
版权

Hadoop完全分布式配置

Hadoop完全分布式部署

一、需要的软件

	1、虚拟机管理软件：VMware15
	2、系统：CentOS 7
	3、ssh软件：Xshell 7
	4、hadoop版本：2.7.7
	5、Jdk版本：jdk8

在这里插入图片描述

二、安装配置Hadoop

注意：使用超级管理员root登录。

1、 配置静态网络，关闭防火墙，设置hosts映射关系

1.1使用ping 命令检测网络是否连通
	ping www.baidu.com 
	使用ctrl+c来停止命令
 	如果网络没有打开，打开网络：
	service network restart
1.2 修改ip地址，设置为静态网络。
	vi /etc/sysconfig/network-scripts/ifcfg-ens33
	选择编辑ifcfg-ens33这个文件修改ip地址信息。

	1）	把BOOTPROTO="hdcp" 改为BOOTPROTO=”static”静态网络ip
	2）	设置ONBOOT="yes"
	3）	添加master IP地址为：IPADDR=192.168.100.10
	4）	添加子网掩码：NETMASK=255.255.255.0
	5）	添加网关： GATEWAY=192.168.100.2
	6）	DNS1=192.168.100.1
	7）	重启网络：systemctl restart network
	8）	测试网络有没有连通：ping www.baidu.com

在这里插入图片描述

1.3 关闭防火墙
	#关闭防火墙
	systemctl stop firewalld
	#禁用防火墙
	systemctl disable firewalld
	#查看防火墙状态
	systemctl status firewalld
1.4 设置hosts映射关系

备注：这里是把三个Linux的ip地址保存到三个虚拟机去，相当于我们自己在手机里面存别人的电话号码 一样的道理，这样相互之间就知道对应ip地址的机器是哪一台。所以这个操作也是要在三台虚拟机都要 进行的。给ip地址起名字，几个机器需要互相连通，这样在连接几台机器的时候只需要使用机器名就行，不需要使用ip地址。

1.4.1 编辑hosts文件：
	vi /etc/hosts
1.4.2 进入编辑模式 i，在最后一行添加
	192.168.100.10 master
	192.168.100.20 slave1
	192.168.100.30 slave2

在这里插入图片描述

此时关机，克隆出两台机器，分别为 slave1 、 slave2

在这里插入图片描述

2. 设置机器主机名和网络，以及测试hosts映射是否成功。

2.1 设置slave1 和slave2 的网络
	vi /etc/sysconfig/network-scripts/ifcfg-ens33
	slave1 的网络为 192.168.100.20/24 
	slave2 的网络为 192.168.100.30/24
2.2 设置master、slave1 和slave2 的主机名
	hostnamectl set-hostname master
	hostnamectl set-hostname slave1
	hostnamectl set-hostname slave2

在这里插入图片描述

2.3 使用ping命令，看是否能够进行相互的连通。
	在master里面连通slave1和slave2。 			在slave1里面连通master和slave2。
	在slave2里面连通master和slave1。

在这里插入图片描述

3、 配置SSH免密登录及时间同步

3.1 在各个机器（master、slave1、slave2）家目录执行
	ssh-keygen -t rsa
	然后一直回车确认

在这里插入图片描述

3.2 ls -all :查看所有文件和文件夹，
	会在/root/.ssh产生id_rsa和id_rsa.pub文件
	查看.ssh目录可以看到id_rsa（私钥）， id_rsa.pub （公钥）两个文件

如何能在master中对s1和s2进行免密登录？
需要把master的公钥放到s1和s2的authorized_keys文件里
(执行以下步骤即可)

3.3 在master、slave1、slave2中分别执行
	(期间需要输入yes ,和对应机器的密码,看提示自行决定)
	ssh-copy-id slave1 
	ssh-copy-id slave2 
	ssh-copy-id master
3.4 设置时间同步(按需设置)
	crontab -e
	0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

4、 解压jdk包和Hadoop包并安装jdk

	在/opt目录下创建
	/module（存放解压或安装好的软件）,
	/software（tar包等软件包），
	目录存放文件

在这里插入图片描述

4.1 解压压缩文件：解压hadoop文件和jdk文件，
	输入命令时可以用tab键补全
	tar -zxvf /opt/software/hadoop-2.7.7.tar.gz –C /opt/module/hadoop
	tar -zxvf /opt/software/jdk-8u171-linux-x64.tar.gz –C /opt/module/jdk
4.2 创建一个专门用于配置环境变量的文件
	vi /etc/profile.d/bigdata_env.sh

在这里插入图片描述

4.3 在bigdata_env.sh文件中设置java的环境变量
	export JAVA_HOME=/opt/module/jdk1.8.0_162
	export PATH=$JAVE_HOME/bin:$PATH
4.4 使环境变量生效
	source /etc/profile
	#可以查看java的版本
	java –version

在这里插入图片描述

到此,master中的java配置已经结束了.

4.5 在slave1和slave2中不用再去安装，直接分发就好了
	scp -r /opt/module/jdk1.8.0_162/ slave1:/opt/module
	scp -r /opt/module/jdk1.8.0_162/ slave2:/opt/module
4.6 配置s1和s2的环境变量，参考步骤（3）（4）。

5、 解压Hadoop及配置环境变量

5.1 解压Hadoop
	tar -zxvf /opt/sofrware/hadoop-2.7.7.tar.gz -C /opt/module
5.2 配置环境变量
	系统环境配置在master、s1和s2相同，以master 为例。
	vi /etc/profile.d/bigdata_env.sh
	#HADOOP_HOME
	export HADOOP_HOME=/opt/module/hadoop-2.7.7
	export HADOOP_MAPRED_HOME=$HADOOP_HOME
	export HADOOP_COMMON_HOME=$HADOOP_HOME
	export HADOOP_HDFS_HOME=$HADOOP_HOME
	export YARN_HOME=$HADOOP_HOME
	export PATH=$PATH:$HADOOP_HOME/bin
	export PATH=$PATH:$HADOOP_HOME/sbin
	
	使变量生效 
	source  /etc/profile

6、 配置Hadoop相关的自定义配置

	切换到/opt/module/hadoop-2.7.7/etc/hadoop目录下
	cd /opt/module/hadoop-2.7.7/etc/Hadoop
6.1 vi core-site.xml
	<property>
	<name>hadoop.tmp.dir</name>
	<value>file:/opt/module/hadoop-2.7.7/tmp</value>
	</property>
	<property>
	<name>fs.defaultFS</name>
	<value>hdfs://master:9000</value>
	</property>
	<property>
	<name>hadoop.proxyuser.root.hosts</name>
	<value>*</value>
	</property>
	<property>
	 <name>hadoop.proxyuser.root.groups</name>
	 <value>*</value>
	</property>
6.2 vi hdfs-site.xml
	<property>
	<name>dfs.replication</name>
	    	<value>2</value>
	</property>
	<property>
	        <name>dfs.namenode.name.dir</name>
	<value>file:/opt/module/hadoop-2.7.7/tmp/dfs/name</value>
	</property>
	<property>
	       <name>dfs.datanode.data.dir</name>
	<value>file:/opt/module/hadoop-2.7.7/tmp/dfs/data</value>
	</property>
6.3 vi mapred-site.xml
	<property>
	        <name>mapreduce.framework.name</name>
	        <value>yarn</value>
	    </property>
	    <property>
		   <name>yarn.app.mapreduce.am.env</name>
		   <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
		 </property>
		 <property>
		   <name>mapreduce.map.env</name>
		   <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
		 </property>
		 <property>
		   <name>mapreduce.reduce.env</name>
		   <value>HADOOP_MAPRED_HOME=${HADOOP_HOME}</value>
		 </property>
6.4 vi yarn-env.sh
	export JAVA_HOME=/opt/module/jdk1.8.0_162
6.5 vi yarn-site.xml
	<property>
	    <name>yarn.nodemanager.aux-services</name>
	    <value>mapreduce_shuffle</value>
	</property>
	<property>
	    <name>yarn.resourcemanager.hostname</name>
	    <value>master </value>
	</property>
6.6 vim workers(slaves)
	master
	slave1
	slave2

7、 分发Hadoop安装包

	scp -r /opt/module/hadoop-2.7.7 slave1:/opt/module/
	
	scp -r /opt/module/hadoop-2.7.7 slave2:/opt/module/

8、 Hdfs格式化

	hdfs namenode -format

9、 Hadoop启动

	start-all.sh

使用jps查看java进程会看到 如下进程
在master上可看到

	NameNode
	SecondaryNameNode
	ResourceManager
	NodeManager
	DataNode

在slave1上可看到

NodeManager
 DataNode

在slave2上可看到

 NodeManager
 DataNode
小黄人的哆啦梦
关注
  • 8
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 8
    评论
专栏目录
Hadoop完全分布式环境部署(一看就会）
weixin_54412689的博客
04-26 7815
Hadoop完全分布式环境部署
Linux学习笔记——Hadoop安装部署
kuaixiao0217的博客
01-11 3203
主要介绍了Hadoop在Linux系统上的安装部署
2024年最全Hadoop 完全分布式部署_hadoop分布式安装部署，2024年最新10年阿里开发架构师经验分享
2401_84181145的博客
05-14 649
创建分发脚本文件内容如下修改权限分别在node2、node3机器安装xsync命令把xsync命令发送到node2、node3。
超详细手把手教你部署全分布模式Hadoop集群
weixin_46567883的博客
04-23 2270
由于之前步骤已将 core-site.xml 中 Hadoop 的临时目录设置为“/usr/local/hadoop-2.9.2/hdfsdata”，故本书中未修改配置项“yarn.nodemanager.local-dirs”，中间结果的存放位置为“/usr/local/hadoop-2.9.2/hdfsdata/nm-local-dir”，这个目录会随着 YARN 守护进程的启动而在由系统自动在所有从节点上创建，无需用户手工创建。也可以使用命令“file /bin/ls”来显示 Linux 版本号。
Hadoop安装部署&全分布式搭建
CyAurora的博客
07-17 1769
1. 完全分布式模式介绍 完全分布式，指的是在真实环境下，使⽤多台机器，共同配合，来构建⼀个完整的分布式 ⽂件系统。 在真实环境中，hdfs中的相关守护进程也会分布在不同的机器中，⽐如： -1. namenode守护进程尽可能的单独部署在⼀台硬件性能相对来说⽐较好的机器中。 -2. 其他的每台机器上都会部署⼀个datanode守护进程，⼀般的硬件环境即可。 -3. secondarynamenode守护进程最好不要和namenode在同⼀台机器上。 2. 平台软件说明 .
GitChat·大数据 | 史上最详细的Hadoop环境搭建
技术杂谈
09-05 4万+
GitChat 作者：鸣宇淳 Hadoop在大数据技术体系中的地位至关重要，Hadoop是大数据技术的基础，对Hadoop基础知识的掌握的扎实程度，会决定在大数据技术道路上走多远。这是一篇入门文章，Hadoop的学习方法很多，网上也有很多学习路线图。
hadoop完全分布式部署
09-25
hadoop完全分布式安装整合hive，亲自在实际服务器安装测试成功
大数据框架入门-hadoop(基于VMware的linux环境搭建/hadoop完全分布式部署/hadoop底层原理讲解)
02-19
1.您将获取关于hadoop大数据框架的基础资料 2.您将大致了解hadoop基础原理知识 适用人群： 掌握基础编程语言(有相关的编程经验的话更好)的对于大数据感兴趣的大数据入门初学者 资源文件的内容： 1.相关课件 2.专业...
Hadoop完全分布式集群总结
01-07
文章目录Hadoop完全分布式集群搭建一、新建虚拟机二、规划集群与服务1、逻辑结构2、物理结构3、总结构三、配置集群1、主节点基础网络配置1.1、配置固定ip地址1.2、修改主机名1.3、配置dns1.4、配置 ip 地址和主机名...
大数据hadoop框架完全分布式部署
04-15
大数据hadoop框架完全分布式部署，通俗易懂，零基础小白可搭建，详细步骤注解！！！
hadoop 完全分布式搭建
08-07
Hadoop 完全分布式搭建是指在多台服务器上部署 Hadoop，形成一个分布式集群，以便更好地处理大数据。 知识点1：Hadoop 集群架构 在 Hadoop 集群中，主要有三种节点：NameNode、DataNode 和 Secondary NameNode。...
【大数据】Hadoop完全分布式配置（超详细）
X10的博客
01-03 4920
Hadoop完全分布式配置-具体步骤如下默认前提：1.在Windows平台下安装Vmware平台（默认已经安装）2.在Vmware平台上安装Linux操作系统（默认已经安装）这里我已安装的是 Vmware16 和 CentOS7.整理流程我参考的是centos6的文档，centos7的命令与其不同。如修改主机名、关闭防火墙等centos7无法连接Xshell的情况。
史上最简单详细的Hadoop完全分布式集群搭建
热门推荐
Mage的博客
10-31 5万+
一.安装虚拟机环境 Vmware12中文官方版 链接：https://pan.baidu.com/s/1IGKVfaOtcFMFXNLHUQp41w 提取码：6rep 激活秘钥：MA491-6NL5Q-AZAM0-ZH0N2-AAJ5A 这个安装就十分的简单了，只需要不断点击下一步，直到安装完成就OK了； 二.虚拟机的安装（Centos7） 这个步骤我分享一个详细安装地址：https://www...
Hadoop完全分布式搭建
QiSorry
03-02 4870
文章目录前言一、虚拟机准备1. 可以正常上网2. ip为静态ip3. 安装必要的环境4. 关闭防火墙以及防火墙开机自启动5. 修改主机名及添加映射6. 创建用户7. 克隆另外两台虚拟机：hadoop102 hadoop103克隆 hadoop102更改 hadoop102 相关信息测试三台虚拟机是否可以相互通信二、Hadoop安装及相关配置1.引入库2.读入数据总结 前言 必备条件： 电脑内存最好8G以上 虚拟机ip为静态ip且可以 ping 通外网 提示：若满足以上条件，下面案例可供参考 一、虚.
hadoop的安装与部署
qq_62792484的博客
09-30 1273
点击vmware的编辑，然后点击虚拟网络编辑器。在点击这个更改设置，进入NAT的设置与DHCP设置。在这里面设置自己的网关192.168.000.2,其中000在每台电脑不一样需要自己去看。设置 DHCP，192.168.000.128与192.168.000.254.然后点击确定。退出后选择应用。这个是给虚拟机联网的。
hadoop 分布式文件系统的部署
weixin_54720351的博客
04-30 2273
hadoop 分布式文件系统的部署 2. 集群 虚拟集群的搭建 （1）创建用户 hadoop ，给创建的用户设定密码； [root@server1 ~]# useradd hadoop ##新建用户，以普通用户的身份去搭建 hadoop 平台 [root@server1 ~]# echo westos | passwd --stdin hadoop Changing password for user hadoop. passwd: all authentication tokens updat
hadoop完全分布式搭建
最新发布
LonelyProgramme的博客
05-16 1533
提示:hadoop完全分布式的搭建与伪分布式搭建的准备工作是非常相似的,如果不会不会伪分布式搭建,可以去看看我发布的hadoop伪分布式搭建.注意:前面有 # 的代表注解,可以不写。
大数据系列 | Hadoop完全分布式安装与配置
woshinsy的博客
08-02 455
大数据系列 | Hadoop完全分布式安装
Hadoop集群搭建(详细步骤)—完全分布式运行模式
安歌Object
08-11 7790
分析： 1）准备3台客户机（关闭防火墙、静态ip、主机名称） 2）安装jdk 3）配置环境变量 4）安装hadoop 5）配置环境变量 6）配置集群 7）单点启动 8）配置ssh 9）群起并测试集群 一、虚拟机准备 详见： Hadoop运行环境搭建（含Linux网络配置和系统管理操作） https://blog.csdn.net/weixin_37838429/artic...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小黄人的哆啦梦

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值