hadoop之集群搭建手把手教学01

最新推荐文章于 2021-10-31 22:57:20 发布
最新推荐文章于 2021-10-31 22:57:20 发布
阅读量262 收藏
点赞数
分类专栏： # hadoop 文章标签： hadoop 大数据 linux java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39331255/article/details/107350516
版权

虚拟机环境准备（克隆多台虚拟机）

1.更改子网

网络连接方式
虚拟机的子网ip是用来动态分配的，如192.168.1.0 动态分配的就都是192.168.1.x 网段下的
网关要和ip在同一网段下，（虚拟机和vmnet8虚拟网卡要在同一网段下），物理机的ip和网卡可以在不同网段下，物理机ping虚拟机要先通过vmnet8，由vmnet8与虚拟机通信
在这里插入图片描述

每台虚拟机网段都在192.168.1.x中
在这里插入图片描述
右键点击虚拟机，选择克隆
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述在这里插入图片描述

2.选择网卡

vi /etc/udev/rules.d/70-persistent-net.rules
删除eth0,把eth1改为eth0
在这里插入图片描述

3.修改网卡ip

vim /etc/sysconfig/network-scripts/ifcfg-eth0
HWADDR是上一步address的，如下
在这里插入图片描述

在这里插入图片描述

4.修改主机名

/etc/sysconfig/network
在这里插入图片描述

5.修改物理机和虚拟机的hosts映射

192.168.1.3 hadoop003
192.168.1.4 hadoop004
192.168.1.5 hadoop005
192.168.1.6 hadoop006
192.168.1.7 hadoop007
vim /etc/hosts虚拟机
C:\Windows\System32\drivers\etc物理机

6.关闭防火墙，关闭开机自启

chkconfig iptables off
在这里插入图片描述

7.重启

reboot

8.克隆完成

虚拟机和物理机互相ping
在这里插入图片描述
在这里插入图片描述

集群搭建

在各个机器上使用root用户在/opt目录下创建software(用于存放安装之前的压缩包)、module(用于存放解压后的程序)文件夹
在这里插入图片描述

7.安装jdk

解压

[root@hadoop003 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

配置path环境变量

[root@hadoop003 software]$  vi /etc/profile

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

使修改生效
source /etc/profile
测试jdk是否安装成功

[root@hadoop003 jdk1.8.0_144]# java -version

8.安装hadoop

解压

[root@hadoop003 software]$ tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

配置path环境变量

[root@ hadoop003 hadoop-2.7.2]$  vi /etc/profile

##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin

使修改生效

source /etc/profile

测试hadoop是否安装成功

[root @hadoop003 ~]$ hadoop version

9.配置集群

在这里插入图片描述四大块：
①hdfs
②yarn
③mapreduce
④从节点

配置方法

一，可以操作虚拟机挨个修改
二，可以在物理机通过notpad++修改，要去掉中文注释，会有乱码产生
物理机和虚拟机建立连接，双击下载到本地修改，ctrl+s保存自动上传到虚拟机
在这里插入图片描述

hdfs配置

配置Hadoop所使用Java的环境变量，告知hadoop我们jdk的安装目录/opt/module/hadoop-2.7.2/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

在这里插入图片描述
因为hdfs要启动namenode、datanode等进程，会产生pid，hadoop要把pid记录在某个位置，默认是放在/tmp下。这里修改pid文件存放位置：
/opt/module/hadoop-2.7.2/sbin/hadoop-daemon.sh
添加

export HADOOP_PID_DIR=/opt/module/hadoop-2.7.2/pid

在这里插入图片描述
核心配置文件：/opt/module/hadoop-2.7.2/etc/hadoop/core-site.xml（hdfs的核心配置文件）

<!-- 指定HDFS中NameNode的地址，我们要在hadoop003上启动namenode进程 -->
	<property>
		<name>fs.defaultFS</name>
        <value>hdfs://hadoop003:9000</value> 
	</property>

	<!-- datanode是个进程，我们把数据交给它后，它会把数据存储到本地磁盘，这里指定存储到磁盘的位置-->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-2.7.2/data/tmp</value>
	</property>

在这里插入图片描述

hdfs配置文件 /opt/module/hadoop-2.7.2/etc/hadoop/hdfs-site.xml

<!--副本数量-->
	<property>
		<name>dfs.replication</name>
		<value>3</value>
	</property>
<!--secondarynamenode辅助namenode工作，指定要在hadoop005上启动该进程-->
	<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop005:50090</value>
    </property>

在这里插入图片描述

Yarn的配置

a) 修改/opt/module/hadoop-2.7.2/etc/hadoop/yarn-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

在这里插入图片描述
Yarn的进程也会产生pid，修改pid文件存放位置：
/opt/module/hadoop-2.7.2/sbin/yarn-daemon.sh
添加

export YARN_PID_DIR=/opt/module/hadoop-2.7.2/pid

在这里插入图片描述
b) 修改/opt/module/hadoop-2.7.2/etc/hadoop/yarn-site.xml

<!-- reducer获取数据的方式 -->
	<property>
		 <name>yarn.nodemanager.aux-services</name>
		 <value>mapreduce_shuffle</value>
	</property>

	<!-- 指定YARN的ResourceManager的地址 -->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop004</value>
	</property>

在这里插入图片描述

mapreduce配置

a) 修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-env.sh

export JAVA_HOME=/opt/module/jdk1.8.0_144

在这里插入图片描述
b) 修改/opt/module/hadoop-2.7.2/etc/hadoop/mapred-site.xml

<!-- 指定mr运行在yarn上 -->
<property>
	<name>mapreduce.framework.name</name>
	<value>yarn</value>
</property>

在这里插入图片描述

从节点配置

要注意把该文件自带的localhost要删除。配置了3台机器，意味着可以在这3台机器上都可以启动datanode、nodemanager进程。
/opt/module/hadoop-2.7.2/etc/hadoop/slaves
hadoop003
hadoop004
hadoop005
在这里插入图片描述

10.安全拷贝

①/opt/module

[root@hadoop003 /]$ scp -r /opt/module/*  hadoop004:/opt/module
[root@hadoop003 /]$ scp -r /opt/module/*  hadoop005:/opt/module

②/etc/profile

scp /etc/profile hadoop004:/etc
scp /etc/profile hadoop005:/etc

需要source重新加载文件才能让path配置生效

source /etc/profile

集群启动

如果集群是第一次启动，需要格式化NameNode（格式化只进行一次！！！）
在格式化时，要保证一切正常，不要出现错误、异常、或者提示让选择yes或者no，如果出现这些情况，把所有的配置检查一遍确认无误后，将hadoop安装目录下的data、pid、logs目录删除重新格式化。

[root@hadoop003 hadoop-2.7.2]$ hadoop namenode -format

整体启动，会挨个登陆到每台虚拟机上启动hdfs进程(ssh)

a) 整体启动/停止hdfs（在namenode节点启动）

sbin/start-dfs.sh
sbin/stop-dfs.sh

b) 整体启动/停止yarn （在resourcemanager节点启动）

sbin/start-yarn.sh
sbin/stop-yarn.sh

注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 yarn，应该在ResouceManager所在的机器上启动yarn。如果不在一台机器上,则ResourceManger所在机器也需要配置到其他机器的ssh免密登录。

查看hdfs
Hdfs的5个进程启动完毕后，就可以查看了，hadoop给我们提供了一个web页面，供我们查看hdfs文件系统，访问地址：http://hadoop003:50070。注意该地址与namenode的通信地址不同，namenode的通信地址是hdfs://hadoop003:9000，

在这里插入图片描述
查看yarn
Yarn的web页面查看地址：http://hadoop004:8088/
在这里插入图片描述

SSH免密登陆

Ssh是一种协议， 用于不同主机之间的通信，我们可以使用ssh通信协议，在一台机器上去访问另外一台机器，例如 在hadoop003机器上执行ssh hadoop004，提示输入密码后就可以远程登录hadoop004了。

免密登陆原理

在这里插入图片描述
免密登陆流程：
在本台机器生成公钥和私钥，将公钥拷贝给要免密登陆的机器即可
在这里插入图片描述

操作

hadoop003,hadoop004都要生成秘钥分发到三台节点，为了nn，rm
要在.ssh目录下进行，在root的家目录下找到.ssh
默认是没有.ssh，需要先ssh hadoop004登录到一台节点上，才会生成
在这里插入图片描述
生成公钥和私钥

[root@hadoop003 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

在这里插入图片描述
将公钥拷贝到要免密登录的目标机器上
[root@hadoop003 .ssh]$ ssh-copy-id hadoop003
[root@hadoop003 .ssh]$ ssh-copy-id hadoop004
[root@hadoop003 .ssh]$ ssh-copy-id hadoop005

集群时间同步

时间同步的方式：在集群中找一台机器，作为时间服务器，集群中其他机器与这台机器定时的同步时间，比如，每隔十分钟，同步一次时间。
在这里插入图片描述

（1） 时间服务器配置（必须root用户）

修改ntp配置文件

[root@hadoop003 桌面]# vim /etc/ntp.conf

修改内容如下
i. 修改1（授权192.168.1.0网段上的所有机器可以从这台机器上查询和同步时间）
#restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为
restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap
ii. 修改2（集群在局域网中，不使用其他的网络时间）
server 0.centos.pool.ntp.org iburst
server 1.centos.pool.ntp.org iburst
server 2.centos.pool.ntp.org iburst
server 3.centos.pool.ntp.org iburst为
#server 0.centos.pool.ntp.org iburst
#server 1.centos.pool.ntp.org iburst
#server 2.centos.pool.ntp.org iburst
#server 3.centos.pool.ntp.org iburst
iii. 添加3（当该节点丢失网络连接，依然可以作为时间服务器为集群中的其他节点提供时间同步）
server 127.127.1.0
fudge 127.127.1.0 stratum 10
c) 修改/etc/sysconfig/ntpd 文件

[root@hadoop003 桌面]# vim /etc/sysconfig/ntpd

增加内容如下（让硬件时间与系统时间一起同步）

SYNC_HWCLOCK=yes

d) 重新启动ntpd

[root@hadoop003 桌面]# service ntpd status

ntpd 已停

[root@hadoop003 桌面]# service ntpd restart

正在启动 ntpd： [确定]
e) 开机自启：

[root@hadoop003 桌面]# chkconfig ntpd on

（2） 其他机器配置（必须root用户,同时注意，将其它机器的ntp服务停掉 service ntpd stop chkconfig ntpd off）

一、 在其他机器配置10分钟与时间服务器同步一次

[root@hadoop004 hadoop-2.7.2]# crontab -e

编写脚本

*/10 * * * * /usr/sbin/ntpdate hadoop003

二、 修改任意机器时间

[root@hadoop004 root]# date -s "2017-9-11 11:11:11"

三、 十分钟后查看机器是否与时间服务器同步

[root@hadoop004 root]# date
五块兰州拉面
关注
专栏目录
手把手教学hive on spark，还不会的小伙伴快上车了
笑看风云路的博客
05-20 1011
更换Hive执行的引擎，提升执行速度！打开hive on spark 配置的正确姿势从这里开始！
java如何快速入门Hadoop大数据技术？
大数据Hadoop学习
12-11 388
给大家推荐一本比较系统的Hadoop大数据书籍，方便大家快速入门 图书简介： 本书以Hadoop及其周边框架为主线，介绍了整个Hadoop生态系统主流的大数据开发技术。全书共16章，第1章讲解了VMware中CentOS 7操作系统的安装；第2章讲解了大数据开发之前对操作系统集群环境的配置；第3~16章讲解了Hadoop生态系统各框架HDFS、MapReduce、YARN、Zoo...
Hadoop集群安装部署
qq_45769990的博客
10-06 9882
hadoop集群安装部署 1、服务器主机名和IP配置（三台） 2、修改每个主机的/etc/hosts文件，添加IP和主机名的对应关系（三台） 3、管理节点到从节点配置无密码登录 4、配置jdk 1.8（三台） 5、关闭防火墙（三台） 6、关闭selinux（三台） vi /etc/selinux/config SELINUX=enforcing SELINUX=disabled 重启系统 安装流程 1、上传软件包到管理节点，在管理节点解压并配置 2、将修改完
oracle 19c 克隆数据库到本地，感受丝般顺滑
whn1977的博客
10-31 1420
我有个库，请在本地复制出一个新的。 安排 19c 单机 linux 本机已经有一个实例 apex，新实例名就叫 orcl 吧，数据要一样 前提： 源主机和目标主机相同。 源数据库和复制数据库都使用 Oracle Managed Files (OMF) 管理数据库文件。 重复的数据库文件使用与源数据库不同的目录结构。 源数据库在ARCHIVELOG模式下运行并且在复制过程中可用。 源数据库dbsrc和复制数据库的服务名称是dbdup. 源数据库使用服务器参数文件 (spfile)。 步骤： 为重复数据库创建目
HDFS之五：Hadoop 拒绝远程 9000 端口访问
weixin_33973609的博客
01-19 3395
    最近学习Hadoop 时发现在本机访问 hadoop 9000 端口没有问题，但是远程机器访问 9000端口时不能访问，通过telnet 命令诊断发现发现无法访问端口，经过网上搜索解决方案结合自己实践，总结解决办法一般有以下几点。 首先，利用netstat -tpnl查看的端口开放情况 下图中9000端口只能本机访问 下图中的9000端口可以通过192.168.1.105访问...
hadoop dfs 保错.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:///
whb3299065的博客
10-04 3402
Java调用hadoop时出现报错：java.lang.IllegalArgumentException: Wrong FS: hdfs://XXX:9000, expected: file:/// 错误分析： hdfs是一种uri路径，hadoop并不认识hdfs：这种格式，后面提示：file:/// 这是一种本地文件系统，由此可见这里要求我们传入一个本地文件系统。
Hadoop 安装包，快速下载地址
09-01
1. `Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）_windows安装hadoop_GCTTTTTT的博客-CSDN博客.mhtml` 这是一个 CSDN 博客文章的本地副本，提供了 Hadoop 3.1.0 在 Windows 上的详细安装教程。...
企业级Hadoop 2.x实战课程：深度解析与项目指导
此外，课程还强调动手能力和架构设计，采用独特的教学模式，如‘保姆式手把手教学’和‘教授式点拨教学’，旨在帮助学员掌握企业级大数据开发所需的实战技能和架构设计能力。" 本课程面向的主要对象是有多年开发...
hadoop安装与配置视频
最新发布
09-09
您可以参考引用中提到的手把手教学视频教程，该视频教程详细介绍了Hadoop、SQOOP、Hive和Hbase的安装配置以及集群搭建。视频内容包括但不限于集群架构回顾、配置集群时间同步以及主节点与从节点的配置等。通过这个...
Wrong FS: hdfs://hadoop20:9000/word.txt, expected: file:///－－－异常解决方案
什么最重要？算法！！
07-01 4271
今天搭建了一个hadoop2.0(yarn集群平台)，首先在上面测试了一个FileSystem实例程序，代码如下：package IT0701;import java.io.IOException; import java.net.URISyntaxException;import org.apache.commons.compress.utils.IOUtils; import org.apach
如何使用HDFS高可用性设置Hadoop集群
qq_40784783的博客
01-20 4310
HDFS 2.x高可用性群集体系结构 在这个博客中，我将讨论HDFS 2.x高可用性群集体系结构以及设置HDFS高可用性群集的过程。 这个博客中的主题的顺序如下： HDFS HA体系结构 介绍NameNode可用性医管局的架构HA（JournalNode和Shared Storage）的实施 如何在Hadoop集群中设置HA（Quorum Journal Nodes）？
关于虚拟机克隆之后IP重新设置
whyrookie的博客
01-08 1505
由于要搭建一套环境，本来搭建好的后来搞崩了，因为之前的虚拟机没有克隆过以及创建快照，所以今天就重新创建一套环境创建虚拟机快照，以及要解决克隆之后的IP重新设置问题。 本机：orcl IP地址：192.168.1.4 被卡隆机器：orclstd（hostname已经修改） 修改IP为：192.168.1.5 1.查看本机orcl IP：[root@orcl network-scripts]# ifconfig 创建的机器地址： 现在要做的是将被克隆机器orclstd的IP地址重新设置一下，首先...
Redis 主从复制原理解析、多虚拟机克隆方案、搭建Redis主从复制（读写分离）
qq_39750835的博客
08-03 1366
主从模式 1. 2.一主二从最常见 3.
解决错误：/opt/module/hadoop-2.7.2/sbin/yarn-daemon.sh:行125: /tmp/yarn-hadoop-resourcemanager.pid: 权限不够
qq_43437122的博客
06-01 5910
今天启动集群的YARN时，报了一个这样的错误。 它最先报的是这样一个错误： log4j:ERROR setFile(null,true) call failed. java.io.FileNotFoundException: (权限不够) 然后我重新format了以下就转为了下面这个错误： /opt/module/hadoop-2.7.2/sbin/yarn-daemon.sh:行125: /tmp/yarn-hadoop-resourcemanager.pid: 权限不够 下面是我的尝试的各种方法： 1.
基于CENTOS7.0的LINUX系统安装HADOOP2.7遇到一些“坑”
chen5131421的专栏
04-03 777
注意事项：文件数打开，防火墙关闭，SELINUX关闭，主要是配置无密钥登录，以及HADOOP的内存大小调整等对应的原因。 先设置防火墙以及系统环境参数： DEVICE=eth0 HWADDR=00:25:90:EC:4A:3C TYPE=Ethernet UUID=40839d74-3d20-4333-ae22-0149d6834566 ONBOOT=yes IPV4_FAILUR...
Hadoop集群搭建（Hadoop-2.7.2）
xiaosong_2016的博客
07-17 266
Hadoop集群搭建
hadoop完全分布式因权限问题无法发起动
我不会crossover
04-18 2721
问题描述：在hadoop账户下在搭建hadoop完全分布式的时候配置都一切正常，但是在hadoop账户下就是无法启动集群，总是报出如下错误：This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh Starting namenodes on [Master] Master: chown: cannot access ...
集群搭建出现问题已经解决方法
hbwss的博客
06-24 970
1.网络配置没有配置到如图所示，造成其无法支持集群的搭建 2.复制虚拟机以后没有对其做如下操作改名，导致有3个hadoop01，导致无法通ping 3.很多时候都会遇到权限不足的问题，只要在命令前+sudo，或者添加命令sudo !!即可。还有部分是需切换root用户：chmod u+w /etc/sudoers 4.虚拟机无法复制，原因电脑C盘满了。建议复制到D盘 5.在进行操作的时候，忘记转换节点，导致操作无法进行 6.集群启动时，要将所有的节点和虚拟机全部打开，如果只开一个Master节点，可能
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值