Hadoop2.7.3在centos7上的集群安装部署

最新推荐文章于 2020-10-15 19:35:02 发布
最新推荐文章于 2020-10-15 19:35:02 发布
阅读量616 收藏 5
点赞数
分类专栏： hadoop 文章标签： hadoop安装 hadoop集群安装部署
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ytangdigl/article/details/105323960
版权
本文详细介绍了在centos7环境下，如何进行Hadoop2.7.3的集群安装部署，包括机器准备、环境配置、Hadoop安装、配置和启动，以及验证安装成功的步骤。
摘要由CSDN通过智能技术生成

1、准备工作

1.1 首先我们要准备三台centos7机器，这三台centos7机器的ip、hostname分别为

IPhostname
192.168.1.11master
192.168.1.12slave01
192.168.1.13slave02

1.2 使用到的工具版本说明

centos版本：CentOS-7.4-x86_64-DVD-1708.iso
JDK版本：jdk-8u231-linux-x64.tar.gz
Hadoop版本：hadoop-2.7.3.tar.gz

2、安装前的准备工作

2.1 相关步骤：

  1. 设置hostname
  2. 设置/etc/hosts
  3. 关闭防火墙
  4. 关闭selinux
  5. 配置ssh免密登录
  6. 安装jdk

2.2 设置hostname(三台机器都执行)

# master 节点
hostnamectl set-hostname master

# slave01 节点
hostnamectl set-hostname slave01

# slave02 节点
hostnamectl set-hostname slave02

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2.3 设置/etc/hosts(三台机器都执行)

vi /etc/hosts

192.168.1.11 master
192.168.1.12 slave01
192.168.1.13 slave02

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述

2.4 关闭防火墙(三台机器都执行)

# 查看状态
firewall-cmd --state

# 停止firewall
systemctl stop firewalld.service

# 禁止firewall开机启动
systemctl disable firewalld.service

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述

2.5 关闭selinux(三台机器都执行)

# 修改selinux
vi /etc/selinux/config

修改内容

SELINUX=disabled

master节点：
在这里插入图片描述
在这里插入图片描述
slave01节点：
在这里插入图片描述
在这里插入图片描述
slave02节点：
在这里插入图片描述
在这里插入图片描述

2.6 配置ssh免密登录(三台机器都执行)

# 创建私钥
ssh-keygen -t rsa  

# 将创建私钥copy到master节点
ssh-copy-id root@master

# 将创建私钥copy到slave01节点
ssh-copy-id root@slave01

# 将创建私钥copy到slave02节点
ssh-copy-id root@slave02

master节点：
在这里插入图片描述
在这里插入图片描述
测试
在这里插入图片描述
slave01、slave02节点的操作同上，这里不再截图。

2.7 安装jdk(三台机器都执行)

可以参考本人另一篇blog:Centos服务器上安装jdk
master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述
slave02节点：
在这里插入图片描述

3、安装配置Hadoop

  1. 安装 hadoop
  2. 配置hadoop
  3. 启动hadoop
  4. 验证hadoop是否安装成功

3.1 安装 hadoop(三台机器都要安装)

在/usr/目录下新建目录hadoop,将hadoop-2.7.3.tar.gz安装包上传到hadoop目录下，并解压

执行以下语句创建相应的目录：

mkdir -p /usr/hadoop/tmp/
mkdir -p /usr/hadoop/hdfs/
mkdir -p /usr/hadoop/hdfs/data/
mkdir -p /usr/hadoop/hdfs/name/

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述

slave02节点：
在这里插入图片描述

3.2 配置hadoop(三台机器都要配置，配置文件都相同)

在目录/usr/hadoop/hadoop-2.7.3/etc/hadoop/下的以下文件：
1、core-site.xml
2、hdfs-site.xml
3、mapred-site.xml
4、yarn-site.xml
5、slaves
6、masters
7、hadoop-env.sh

3.2.1 core-site.xml
<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
    </property>
</configuration>
3.2.2 hdfs-site.xml
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/hadoop/hdfs/name</value>
		<final>true</final>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>file:/usr/hadoop/hdfs/data</value>
		<final>true</final>
	</property>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>master:9001</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>dfs.permissions</name>
		<value>false</value>
	</property>
</configuration>
3.2.3 mapred-site.xml
<configuration>

<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>

</configuration>
3.2.4 yarn-site.xml
<configuration>

<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>master:8040</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>master:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>master:8088</value>
		<description>11111</description>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>master:8025</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>master:8141</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
		<description>1111</description>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.acl.enable</name>
		<value>false</value>
	</property>
	<property>
		<name>yarn.admin.acl</name>
		<value>*</value>
	</property>
</configuration>
3.2.5 slaves
slave01
slave02
3.2.6 masters
master
3.2.6 hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_231

3.3 启动hadoop（master节点）

3.3.1 启动hadoop之前，需要先格式化文件系统（master节点）
# 进入到hadoop安装目录
cd /usr/hadoop/hadoop-2.7.3/

# 执行文件格式化命令
./bin/hdfs  namenode  -format

在这里插入图片描述

3.3.2 启动hdfs、yarn（master节点）
# 启动 hdfs
./sbin/start-all.sh

在这里插入图片描述

3.3.3 访问http://192.168.1.11:50070/，通过hdfs页面ui查看

在这里插入图片描述

3.3.3 访问http://192.168.1.11:8088/cluster

在这里插入图片描述

3.4 验证hadoop是否安装成功

# 查看目录及文件信息
hdfs dfs -ls  /

# 创建目录
hdfs dfs -mkdir -p /user/che/1021001

# 上传文件到hdfs
hdfs dfs -put /data/1025.txt /user/che/1021001

# 上传文件到hdfs
hdfs dfs -copyFromLocal /data/1025.txt  /user/che/1021001/

master节点：
在这里插入图片描述
slave01节点：
在这里插入图片描述

slave02节点：
在这里插入图片描述
注：只要master节点执行创建目录、上传文件的命令，slave01、slave02节点就可以通过查看命令看到创建的目录和文件了

另外单机版安装部署参考本人的另一篇blog：Hadoop2.7.3在centos7上的单机版安装部署

蔚蓝色天空sky
关注
专栏目录
centos7 安装 hadoop 2.7.3集群.docx
09-19
上述步骤详细介绍了如何在 CentOS 7 上安装配置 Hadoop 2.7.3 集群。从最基础的网络配置、账户设置到最终的集群启动与验证，每一步都至关重要。在实际部署过程中，请根据实际情况调整配置项，并确保每一步都准确无误...
超详细从零记录Hadoop2.7.3完全分布式集群部署过程
weixin_34279246的博客
10-27 628
超详细从零记录Ubuntu16.04.1 3台服务器上Hadoop2.7.3完全分布式集群部署过程。包含，Ubuntu服务器创建、远程工具连接配置、Ubuntu服务器配置、Hadoop文件配置、Hadoop格式化、启动。（首更时间2016年10月27日） 主机名/hostname IP 角色 hadoop1 192.168.193.131 ...
hadoop2.7.3 从搭建到运行（一、安装篇）
Chain的博客
05-26 552
一、搭建（搭建过程参考小狼咕咕，部分有删改） 以下所有操作尽量使用root用户进行操作，权限给的够，操作起来方便，实际操作过程中经验所得。 1.选取三台服务器（Ubantu系统64位） 原本的第一行 localhost就别删除了 　　114.55.246.88 master 　　114.55.246.77 slave1 　　114.55.246.93slave2 之后...
Linux Hadoop 2.7.3 集群部署
zslomo的博客
10-30 2115
一、说明：到写本文时间为止，3.0没有发布稳定的版本，所以本文基于2.7.3 系统为centOS ，用 debian核心的linux（比如ubuntu） 基本设置相同，只要把yum换成apt-get，推荐使用更稳定的centOS二、集群部署1、 准备理论实验室没有服务器，我利用自己的电脑和舍友的电脑搭建了1个namenode 7个datanode的分布式集群，虚拟机为VMware Workstat
centos7 安装hadoop2.7.6（分布式）
weixin_30836759的博客
08-09 160
本文只做简单介绍，具体步骤操作请参考centos6.5 安装hadoop1.2.1亲测版 本篇只简单介绍安装步骤 1.安装目录 /usr/local/hadoop （HADOOP_HOME） 2,创建group hadoop groupadd hadoop 3.创建用户hadoop useradd -d /home/hadoop -g had...
hadoop2.7.3分布式安装部署
qq_41953252的博客
12-26 928
说明: 1.教程中出现字体加粗和加红的说明需要大家仔细阅读，按照步骤进行安装，都是比较重要的细节，如果有同学忘记或者跳过说明的步骤，环境大家的过程中问题会非常的多. 2.本教程主要引导同学进行hadoop 2.x版本的安装，之所以还要进行hadoop2.x版本的安装，是我们现在市场中大部分很早的企业部署的是hadoop2.x，上课主要讲解hadoop2.x，经历的hadoop3.x版本的安装之后，...
hadoop2.7.3搭建教程_使用vm、centos7
12-14
总结来说，通过这个教程，你将了解如何在虚拟环境中搭建Hadoop 2.7.3集群，包括安装CentOS7、配置Hadoop、启动服务以及进行基本的数据操作。这仅仅是Hadoop世界的一个开端，随着对Hadoop的深入学习，你将能够处理更...
centos7+hadoop2.7.3+jdk1.8
11-01
本文将详细讲解如何在CentOS7上安装Hadoop2.7.3和JDK1.8，以及相关配置步骤。 首先，我们需要确保系统主机名正确设置，这对于集群中的节点间通信至关重要。在CentOS7中，可以通过以下步骤修改主机名： 1. 使用`vi`...
利用虚拟机搭建Hadoop伪集群(基于centos7)
10-17
利用虚拟机搭建Hadoop伪集群(基于centos7),usr 下有 java 和 hadoop两个文件夹,分别解压对应的文件,jdk 的版本是1.8.0_141,hadoop的版本是2.7.3
第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）.zip
12-21
搭建hadoop单机版+hbase单机版+pinpoint整合springboot 第一步-hadoop-hadoop-2.7.3在centos7上部署安装（单机版）
非常详细的centos7.0下Hadoop2.7.1集群搭建教程
09-26
非常详细的centos7.0下Hadoop2.7.1集群搭建教程，内附自己的解决办法和提示
Hadoop集群安装教程（CentOS/Hadoop2.7.6)
Casuall的博客
05-14 998
Hadoop 集群的安装配置大致为如下流程: 选定一台机器作为 Master 在 Master 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境 在 Master 节点上安装 Hadoop，并完成配置 在其他 slave 节点上配置 hadoop 用户、安装 SSH server、安装 Java 环境 将 Master 节点上的 /usr/loc...
centos7 安装hadoop 2.7.6
热门推荐
专注于Java架构学习 https://gitee.com/laokouyun https://github.com/KouShenhai
10-05 2万+
小伙伴们，你们好，我是老寇 hadoop安装包：https://pan.baidu.com/s/1swrV9ffJnmz4S0mfkuBbIw 提取码：1111 目录 一、前提交接 二、创建hadoop用户 三、免密登录 四、安装hadoop 五、伪分布式 五、启动 一、前提交接 centos7 安装jdk 1.8 二、创建hadoop用户 useradd -m hadoop passwd hadoop #设置密码 # %wheel ALL=(ALL) ALL 没有被注.
CentOS7下搭建hadoop2.7.3完全分布式
weixin_33737134的博客
08-27 202
这里搭建的是3个节点的完全分布式，即1个nameNode，2个dataNode，分别如下： CentOS-master   nameNode   192.168.11.128 CentOS-node1   dataNode    192.168.11.131 CentOS-node2   dataNode    192.168..11.132 1.首先创建好一个CentOS虚拟机，将它作为主节点我...
centos7 下部署hadoop2.7.6 完全分布式(或伪分布式) 2台云主机部署
zhanlan_2017的博客
01-16 483
     一直反复研究hadoop的安装，之前都是百度的各种博客，跟着部署伪分布式，由于自己只有2台渣渣云服务器，所以一直想对原理稍微理解一点，能够在2台机器上部署，目前对部署终于小有收货，记录下来，以便后续继续部署,下面是在虚拟机的部署过程。下面附上2篇参考博客，都说的很详细，很好。多台机部署，其实每台机的配置都是一样的。所以先部署号一台机，后面分发就可以了。 1、 https://blog....
centos7虚拟机（在系统和用户环境变量中）安装hadoop2.7.6分布式
qq_42612645的博客
07-19 635
NO.1安装配置hadoop系统环境变量 只需要配置四个文件加一个路径，最后刷新一把 [root@localhost hadoop]# vim hadoop-env.sh [root@localhost hadoop]# vim core-site.xml [root@localhost hadoop]# vim hdfs-site.xml [root@localhost hadoop]# ...
新手版Centos7下安装Hadoop2.7.6单机
qq_878057221
06-26 607
本人刚开始安装的时候，看了很多篇的博客，跟着一步步做结果还是出现很多问题，主要是有的步骤、配置他们都没有解释清楚，这对于刚接触Linux系统的新手、小白来说，简直就是个巨坑。所有我特意在这里写了一篇比较全面的博客，希望可以帮助没有多少基础的小伙伴。
hadoop完全分布式集群搭建步骤
m0_47398053的博客
10-15 922
观看此文档的基础为已经在VMWare WorkStation Pro里面安装好了一台centOS 7.最好是最小安装版本的.(最好在磁盘预留30G左右空间用于安装三台虚拟机)
CentOS 7 + Hadoop 2.7.3 + JDK 1.8 安装与配置教程
本篇文章主要介绍了如何在CentOS 7系统上安装Hadoop 2.7.3版本，并配合使用Java JDK 1.8进行配置。以下是详细的步骤： 1. **修改主机名**： 首先，你需要在`/etc/sysconfig/network`文件中修改主机名，将主机分为...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值