Hadoop分布式集群安装配置

最新推荐文章于 2024-08-25 12:13:51 发布
最新推荐文章于 2024-08-25 12:13:51 发布
阅读量305 收藏 2
点赞数
分类专栏： 大数据技术原理与应用
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TxyITxs/article/details/105674633
版权

1.1 安装环境

操作系统deepin 15.11, VMware Workstation，hadoop 3.1.3 版本。在deepin 操作系统中安装 VMware Workstation，在 VMware Workstation中安装两个deepin系统，采用两个节点作为集群环境，一个作为Master节点，一个作为Slave 节点。

1.2 hadoop的安装准备

在Master节点和Slave节点都需要进行如下准备工作，主要是配置hadoop用户，安装SSH server和安装Java 环境。

  1. 在安装虚拟机系统时，每个系统都创建hadoop用户。
  2. 选择一个节点作为Master,　ctrl+alt+t打开终端，通过命令行方式进行安装，更新apt，执行如下命令。
	sudo apt-get update
  1. 安装vim ,用于后续修改配置文件。
	sudo apt-get install vim
  1. 安装SSH并登录主机。
	sudo apt-get install openssh-server
	ssh localhost
  1. 配置SSH无密码登录，由于hadoop 远程登录只能无密码登录，因此需要配置无密登录。
	退出登录: exit
	cd ~/.ssh/
	sh-keygen -t rsa
　  cat ./id_rsa.pub >> ./authorized_keys

在这里插入图片描述

在这里插入图片描述

  1. 安装Java 环境，采用jdk-8u162-linux-x64.tar.gz,在Documents/目录下。
	cd  /usr/lib
	sudo mkdir jvm
	cd  ~/Documents/
	sudo tar -zxvf   ./jdk-8u162-linux-x64.tar.gz  -C  /usr/lib/jvm

在这里插入图片描述

  1. 配置环境变量，在配置文件开头位置添加如下内容。
    打开配置文件：
	cd  ~
	vim ~/.bashrc
添加内容：
	export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_162
	export JRE_HOME=${JAVA_HOME}/jre
	export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
	export PATH=${JAVA_HOME}/bin:$PATH
  1. 查看jdk是否安装成功。
	Java -version

在这里插入图片描述

1.3 安装Hadoop
在Master 节点安装hadoop ,并把/usr/local/中的hadoop 文件夹复制到其他Slave节点的/usr/local目录下。

  1. hadoop-3.1.3.tar.gz 在目录~/Documents/下,安装到/usr/local目录下。
	cd  ~/Documents/
	sudo tar zxf  hadoop3.1.3.tar.gz  -C  /usr/local
  1. 修改文件夹名，并修改文件的权限。
	cd  /usr/local/
	sudo mv ./hadoop-3.1.3/ ./hadoop
	sudo chown  -R hadoop  ./hadoop

在这里插入图片描述

  1. 查看是否安装成功。
	cd  /usr/local/hadoop
	./bin/hadoop version

在这里插入图片描述

1.4 Hadoop集群配置

  1. 网络配置，配置每个节点的网络，采用桥接来实现节点之间的互联，通过NAT模式连接网络。
    １)通过Edit->Virtual Netwrok Editor，点击Add Network添加一个网络，设置连接方式为桥接。
    ２)设置vmnet8中的子网号为192.168.138.0，子网掩码255.255.255.0和网关192.168.138.133，点击NAT Setting即可设置网关。

在这里插入图片描述
在这里插入图片描述

  1. 配置需要每个节点主机的IP 地址，在子网192.168.138.0下，设置IP地址，Master 节点的IP为:192.168.138.128, Slave节点的IP 为:192.168.138.131。
    １)通过ifconfig来查看网卡的IP地址，如下图所示，ens33即为桥接网卡。

在这里插入图片描述

2)节点计算机静态IP 配置，执行如下命令打开配置文件。
Master节点:

sudo vim  /etc/network/interfaces
添加内容:
auto ens33 
iface ens33 inet  static
address 192.168.138.128

通过如下命令使设置生效,出现OK字样则成功:

sudo  /etc/init.d/networking restart

Slave节点：
用同样的方法设置，添加的内容为:

auto ens33 
iface ens33 inet  static
address 192.168.138.131
  1. 修改主机名，将Master节点的主机名为Master,将Slave节点的主机名改为Slave,分别在两个节点中执行如下命令。
    sudo vim /etc/hostname
  2. 在Master节点和Slave节点修改自己节点的IP 映射，添加如下相同内容。
    执行如下命令，注释掉文件中除127.0.0.1 localhost 的其他的IP 地址映射。
	sudo  vim /etc/hosts
	添加IP映射:
	192.168.138.128     Master
	192.168.138.131	    Slave
  1. 重启每个节点，完成主机名更新。
  2. 测试每个节点是否能Ping 通，通过如下命令测试。
	ping   Master  -c   3
	ping   Slave    -c  3

在这里插入图片描述
在这里插入图片描述

  1. SSH无密吗登录节点，配置Master 节点可以远程登录其他Slave节点。由于修改过主机名，所以需要删除原来的SSH 公钥。在Master节点执行如下命令生成公钥。
	cd     ~/.ssh
	rm   ./id_rsa*
	ssh-keygen   -t   rsa
  1. 让Master 节点能无密登录SSH 本机，在Master节点执行如下命令.
	cat   ./id_rsa.pub   >>   ./authorized_keys
  1. 通过远程拷贝文件，将主机Master ssh公钥传输到Slave 节点。
	scp    ~/.ssh/id_rsa.pub   hadoop@Slave:/home/hadoop/

在这里插入图片描述

  1. 在Slave 节点将　ssh 公钥加入授权，执行如下命令,需要删除原先SSH公钥。
	mkdir    ~/.ssh
	cat     ~/id_rsa.pub   >>   ~/.ssh/authorized_keys
	rm   ~/id_rsa.pub

在这里插入图片描述
11. 在Master 节点上测试远程登录Slave 节点,可以看到主机名改变为Slave。

	ssh   Slave

在这里插入图片描述
12. 在Master节点配置hadoop 的PATH 变量，则可以直接使用hadoop,hdfs 相关命令而不需要转到相关目录。
打开配置文件:

	vim  ~/.bashrc
	添加内容：
	export   PATH=$PATH:/usr/local/hadoop/bin:/usr/loacl/hadoop/sbin
	使配置生效:
	source  ~/.bashrc
  1. 在Master节点修改配置目录/usr/local/hadoop/etc/hadoop目录下的５个配置文件。
  1. workers 文件
    Master作为NameNode,Slave作为　DataNode。将DataNode的主机名写入workers 文件，删除localhost。添加如下内容。
	Slave
  1. core-site.xml
    修改标签中的内容如下。
	<configuration>
        		<property>
                		<name>fs.defaultFS</name>
                		<value>hdfs://Master:9000</value>
        		</property>
        		<property>
                		<name>hadoop.tmp.dir</name>
                		<value>file:/usr/local/hadoop/tmp</value>
                		<description>Abase for other temporary directories.</description>
        		</property>
	</configuration>
  1. hdfs-site.xml
    修改标签中的内容如下。
	<configuration>
        		<property>
                		<name>dfs.namenode.secondary.http-address</name>
                		<value>Master:50090</value>
        		</property>
        		<property>
               		 <name>dfs.replication</name>
                		<value>1</value>
        		</property>
        		<property>
                		<name>dfs.namenode.name.dir</name>
                		<value>file:/usr/local/hadoop/tmp/dfs/name</value>
        		</property>
        		<property>
                		<name>dfs.datanode.data.dir</name>
                		<value>file:/usr/local/hadoop/tmp/dfs/data</value>
        		</property>
	</configuration>
  1. mapred-site.xml
    修改标签中的内容如下。
	<configuration>
        		<property>
                		<name>mapreduce.framework.name</name>
               		 <value>yarn</value>
        		</property>
        		<property>
                		<name>mapreduce.jobhistory.address</name>
                		<value>Master:10020</value>
        		</property>
        		<property>
                		<name>mapreduce.jobhistory.webapp.address</name>
               		 <value>Master:19888</value>
        		</property>
	</configuration>
  1. yarn-site.xml
    修改标签中的内容如下。
	<configuration>
        		<property>
                		<name>yarn.resourcemanager.hostname</name>
                		<value>Master</value>
        		</property>
        		<property>
               		 <name>yarn.nodemanager.aux-services</name>
               		 <value>mapreduce_shuffle</value>
       		 </property>
	</configuration>
  1. 在Master节点通过远程拷贝Master 节点的/usr/loacl/hadoop目录到其他Slave 节点。首先先删除之前的临时文件和日志。
	cd    /usr/local
	sudo  rm  -r  ./hadoop/tmp
	sudo  rm  -r   ./hadoop/logs/*
	tar   -zcf   ~/hadoop.master.tar.gz    ./hadoop
	cd  ~
	scp   ./hadoop.master.tar.gz    Slave:/home/hadoop
  1. 在Slave 节点解压文件。
	sudo    rm   -r    /usr/local/hadoop
	sudo tar  -zxf   ~/hadoop.master.tar.gz   -C    /usr/local
	sudo  chown  -R   hadoop   /usr/local/hadoop
  1. 在Master 节点执行　NameNode 的格式化。
	hdfs   namenode    -format

在这里插入图片描述
17. 在Master 节点上启动hadoop 集群，执行如下命令。

	start-dfs.sh
	start-yarn.sh
	mr-jobhistory-daemon.sh  start historyserver

在这里插入图片描述
18. 通过jps 查看集群的节点启动的进程信息，分别在Master 和　Slave 节点执行jps。
Master 节点:
在这里插入图片描述
Slave 节点:
在这里插入图片描述

  1. 在Master节点查看集群的DataNode 是否正常启动。
	hdfs  dfsadmin    -report

在这里插入图片描述
通过网页查看Slave 节点的相关信息：
在这里插入图片描述

  1. 关闭hadoop集群。
	stop-yarn.sh
	stop-dfs.sh
	mr-jobhistory-daemon.sh stop historyserver
	或者通过如下命令关闭集群。
	stop-all.sh

1.5 总结

问题1:

  • Master 节点NameNode 没有启　动，DataNode节点却启动了；
  • 执行hdfs dfsadmin -report命令出现如下信息：
    report:Call From Master/192.168.138.128 to Master:9000 failed on connection exception: java.net.ConnectException:拒绝连接；For more details see :http://wiki.apache.org/hadoop/ConnectionRefused

解决：分析发现，我没有配置slaves文件，在hadoop3.1.3版本中，不存在slaves文件，通过网络查询资料以及和同学交流，我发现slaves文件更改成了workes文件，因此配置workes文件；由于前后操作不当，因此导致了此问题。通过如下方式解决：
关闭集群，删除临时文件和日志，重新执行hdfs namenode -format.

问题２:

  • 当关机重启后，集群无法启动，无法ping 通 ；

解决：分析发现各节点的IP发生了变化，导致 集群无法启动，是由于采用了NAT 进行网络连接，NAT模式在每次重启计算机会动态分配IP 地址；采用桥接来实现各节点的连通，配置静态IP.

参考文献

１．厦门大学数据库实验室，http://dblab.xmu.edu.cn/blog/install-hadoop-cluster/
２．网络配置，https://www.cnblogs.com/guangluwutu/p/9705136.html，
https://www.cnblogs.com/lilongxin/p/9034245.html

秘境之眼
关注
专栏目录
Hadoop-完全分布式配置-集群配置
TrueDei
01-30 981
本文是根据尚硅谷的视频教学，然后加上自己理解总结的。 配置hdfs和yarn如下： 所有的配置文件都在/opt/module/hadoop-2.7.7/etc/hadoop目录下。 [root@hadoop102 hadoop]# [root@hadoop102 hadoop]# pwd /opt/module/hadoop-2.7.7/etc/hadoop [root@hadoop102 h...
Hadoop分布式集群安装配置教程
zxf_668899的博客
12-18 1193
hadoop
Hadoop分布式集群配置
weixin_33989058的博客
09-09 79
硬件环境：   安装一个Hadoop集群时，需要专门指定一个服务器作为主节点。 三台虚拟机搭建的集群：（搭建集群时主机名不能一样，主机名在/etc/hostname修改） master机器：集群的主节点，驻留NameNode和JobTracker守护进程）            dbrg1  192.168.0.102 slaves机器：（集群的从节点，驻留DataNode和Tas...
Hadoop 分布式集群搭建
最新发布
slb190623的博客
08-25 1168
Hadoop 分布式集群搭建
Hadoop安装教程_集群/分布式配置
limeOracle的博客
07-15 152
配置集群/分布式环境 集群/分布式模式需要修改 /usr/local/hadoop/etc/hadoop 中的5个配置文件，更多设置项可点击查看官方说明，这里仅设置了正常启动所必须的设置项： slaves、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml。 1, 文件slaves，将作为 DataNode 的主机名...
Hadoop2.61集群安装配置教程
yaooch的专栏
06-05 486
前言 当开始着手实践Hadoop时，安装Hadoop往往会成为新手的一道门槛。尽管安装其实很简单，书上有写到，官方网站也有Hadoop安装配置教程，但由于对Linux环境不熟悉，书上跟官网上简略的安装步骤新手往往Hold不住。加上网上不少教程也甚是坑，导致新手折腾老几天愣是没装好，很是打击学习热情。 本教程由厦门大学数据库实验室出品，转载请注明。本教程适合于原生Hadoop 2，包括H
大数据之hadoop分布式集群参数配置.docx
06-21
Hadoop分布式集群参数配置 Hadoop分布式集群参数配置是大数据处理中不可或缺的一部分。本文将详细介绍Hadoop分布式集群参数配置的过程，包括master节点和slave节点的配置。 一、Hadoop分布式集群参数配置概述 ...
hadoop分布式集群安装，安装版本为3.2.x
07-11
hadoop分布式集群安装，一主两从的hadoop集群，安装版本为3.2.x
基于Hadoop的分布式集群大数据动态存储系统设计.pdf
08-08
为了解决这些问题，本文提出了一种基于Hadoop的分布式集群大数据动态存储系统的设计方案。 首先，需要明确Hadoop在大数据处理中的地位和作用。Hadoop是一个开源的分布式存储和计算平台，它提供了一套完整的生态系统...
Hadoop分布式集群的安装与部署
weixin_43822987的博客
04-10 180
Hadoop分布式集群的安装与部署 1 前需准备 首先，配置三台Linux虚拟机，并将三台虚拟的IP地址设置成手动模式。 IP地址： hadoop0:192.168.2.128 hadoop1:192.168.2.129 hadoop2:192.168.2.130 其次修改hosts文件 vim /etc/hosts 192.168.2.128 hadoop0 192.168.2.129 hadoop1 192.168.2.130 hadoop2 最后将防火墙关闭 在虚拟机测试，关闭即可，阿里云主机上面
Hadoop集群安装与配置详细步骤
12-04
Hadoop集群安装与配置详细步骤
hadoop集群搭建步骤
01-10
该文档提供了linux环境中搭建hadoop集群（大数据）的步骤，个人认为比较详细，供大家学习
Hadoop完全分布式集群——Hadoop 配置
weixin_42264536的博客
05-02 8797
前面已完成VMware虚拟机安装与配置（参考前一篇Hadoop完全分布式集群——VMware虚拟机安装与配置_夏雨和阳阳的博客-CSDN博客），下面将进行Hadoop 配置。 一、slave1、slave2节点配置修改 slave1、slave2节点都需要进行以下操作： 1.开启虚拟机，输入命令： [root@slave1 ~]#ip addr [root@slave2 ~]#ip addr 2.修改slave1、slave2虚拟机的IP [root@slave1 ~]#vi /etc/s
Hadoop完全分布式集群配置
weixin_49094787的博客
05-01 297
目录准备三台客户机模板虚拟机准备安装模板虚拟机配置关闭防火墙卸载虚拟机自带的JDK克隆虚拟机修改克隆机ip修改克隆机主机名安装JDK和Hadoop配置环境变量配置集群编写集群分发脚本xsyncssh无密登录配置文件群起集群配置workers启动集群配置历史服务器配置日志的聚集准备三台客户机 模板虚拟机准备 安装模板虚拟机 ip地址192.168.10.100 主机名称hadoop100 内存4...
hadoop完全分布式集群配置
weixin_43318790的博客
05-25 441
一、下载软件 1.JDK11(版本太高不一定就好，我试了16版本的，运行java文件的时候会发生错误） 2.VMware-workstation pro 16 3.CentOS-7.iso （linux的虚拟机都行）（我这里是3台虚拟机） 4.hadoop 3.3.0 5.FileZilla（连接虚拟机，可以简单的操作文件） 软件下载可以去官网下载，我这里也有这些软件的种子文件：链接：hadoop完全分布式搭建所需软件 提取码：co3u 软件如下图所示： 关于怎么打开种子文件，可以看这里的教程：下载种子
Hadoop 完全分布式集群搭建配置
勇往直前
08-02 123
1 环境 hostname ip master 192.168.1.112 node1 192.168.1.110 node2 192.168.1.111 2 配置 2.1 core-site.xml <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://master...
Hadoop 分布式集群环境搭建与配置
beautiful_huang的博客
12-09 452
文章目录一、hadoop 简介基于hadoop的整体分布式模块交互1）分布式系统的定义2）核心内容：文件的目录结构独立存储在一个NameNode上，二具体文件数据，拆分成若干块，冗余的存放在不基于Hadoop的HDFShadoop：HDFS：准备工作：二、安装 一、hadoop 简介 基于hadoop的整体分布式模块交互 1）分布式系统的定义 把数据放到一个服务器集群上面，分为：主控服务器（Mas...
hadoop分布式集群安装与配置步骤
06-07
以下是Hadoop分布式集群安装与配置的步骤： 1. 确定集群规模：包括节点数量、硬件配置、操作系统版本等。 2. 安装Java环境：Hadoop是基于Java开发的，因此需要先安装Java环境，建议使用OpenJDK或Oracle JDK。 3. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

秘境之眼

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值