Centos7安装hadoop2.7.2完全分布式集群

最新推荐文章于 2024-06-04 08:00:00 发布
最新推荐文章于 2024-06-04 08:00:00 发布
阅读量421 收藏 1
点赞数 1
文章标签： hadoop 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a308432439/article/details/123984615
版权

Centos7安装hadoop2.7.2完全分布式集群

为了模拟生产环境，我们需要搭建一个完全分布式集群，以供后续的学习​和实验所用。下面是安装hadoo完全分布式集群的详细操作步骤。

一、虚拟机环境配置

系统主机地址hadoop版本jdk版本
centos7hadoop01192.168.241.2012.7.21.8
centos7hadoop02192.168.241.2022.7.21.8
centos7hadoop03192.168.241.2032.7.21.8

（1）单机配置

① 修改主机名
vi /etc/hostname

在这里插入图片描述

② 添加主机映射
vi /etc/hosts

在这里插入图片描述

③ 修改IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33

在这里插入图片描述

④ 关闭防火墙
#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld
⑤ 创建hadoop用户
sudo useradd hadoop #创建hadoop用户
sudo passwd hadoop #设置hadoop用户密码

在这里插入图片描述

⑥ 设置hadoop用户拥有root权限
vi /etc/sudoers
#找到文件中Allow root to run any commands anywhere 这一行
#添加 hadoop ALL=(ALL:ALL) NOPASSWD:ALL
#若root用户也无法修改该文件，则使用 visudo -f /etc/sudoers

在这里插入图片描述

⑦ 创建安装目录和安装包目录并修改所有者
mkdir /opt/module /opt/software 
#创建/opt/module 和 /opt/software 目录
chown hadoop:hadoop /opt/module /opt/software
# 将目录所有者修改为hadoop
⑧ 安装必要环境
yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static

（2） 节点配置

克隆当前虚拟机两台，分别命名为hadoop02和hadoop03
参照① ② ③ 三步，对hadoop02和hadoop03进行修改
重启三台虚拟机

a）配置ssh免密登录
ssh-keygen -t rsa  #连续回车

在这里插入图片描述

cd /home/hadoop/.ssh

在这里插入图片描述

ssh-copy-id hadoop01   ##将公钥拷贝到需要免密登录的节点上
ssh-copy-id hadoop02
ssh-copy-id hadoop03

在这里插入图片描述
在执行过程中，需要输入一次节点密码

#执行ssh hadoop01、ssh hadoop02 、ssh hadoop03 验证免密登录是否生效
ssh hadoop01
ssh hadoop02
ssh hadoop03

在这里插入图片描述
如果所示，即为免密登录hadoop02成功

b）集群时间同步设置
#所有节点执行以下命令
#关闭ntp服务
systemctl stop ntpd
systemctl disable ntpd

① 修改hadoop01节点的ntp.conf 文件

vi /etc/ntp.conf

修改为下图标出内容
在这里插入图片描述
② 修改hadoop01节点的/etc/sysconfig/ntpd文件

vi /etc/sysconfig/ntpd
#添加图中标出内容

在这里插入图片描述
③ 重启ntp服务

systemctl start ntpd
systemctl enable ntpd

④ hadoop02/03节点的配置
在hadoop02 和hadoop03 上配置定时任务，定时为10分钟一次

crontab -e
#输入以下内容
*/10 * * * * /usr/sbin/ntpdate hadoop01

c）创建文件同步脚本
在/home/hadoop目录下创建

vi /home/hadoop/xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
  echo Not Enough Arguement!
  exit;
fi
#2. 遍历集群所有机器
for host in hadoop01 hadoop02 hadoop03
do
  echo ====================  $host  ====================
  #3. 遍历所有目录，挨个发送
  for file in $@
  do
    #4 判断文件是否存在
    if [ -e $file ]
    then
      #5. 获取父目录
      pdir=$(cd -P $(dirname $file); pwd)
      #6. 获取当前文件的名称
      fname=$(basename $file)
      ssh $host "mkdir -p $pdir"
      rsync -av $pdir/$fname $host:$pdir
    else
      echo $file does not exists!
    fi
  done
done

二、hadoop集群部署

(1) 集群规划

注意1：NameNode和SecondaryNameNode不要部署在同一台服务器
注意2：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode部署在同一台服务器上
具体配置如下：

hadoop01hadoop02hadoop03
HDFSNameNode、DataNodeDataNodeSecondaryNameNode、DataNode
YARNNodeManagerResourceManager、NodeManagerNodeManager
(2) 开始安装

① 安装jdk
a.首先查看是否有原生jdk

rpm -qa |grep java

若有显示则用下面的语句进行删除

​rpm -e --nodeps 文件名  #确保删除干净

b.将jdk安装包放到/opt/software/ 目录下
在这里插入图片描述
c.解压到/opt/module目录下

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/

d.为了方便书写，将目录修改为jdk

mv /opt/module/​jdk1.8.0_73 /opt/module/jdk

在这里插入图片描述
e.配置环境变量

vi /etc/profile.d/my_env.sh

在这里插入图片描述

重启xshell窗口，验证环境变量是否生效
在这里插入图片描述
② hadoop安装
​a.将hadoop压缩包放入目录/opt/software/
在这里插入图片描述
​b.解压至/opt/module目录

tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module

并将目录改名为hadoop
在这里插入图片描述
c.配置环境变量

vi /etc/profile.d/my_env.sh

在这里插入图片描述
重启shell窗口，验证环境变量是否生效
在这里插入图片描述
③ hadoop配置文件修改
a. 修改core-sit.xml

vi /opt/module/hadoop/etc/hadoop/core-sit.xml

在这里插入图片描述
b.修改hdfs-site.xml

vi /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml

在这里插入图片描述
c.修改yarn-site.xml

vi /opt/module/hadoop/etc/hadoop/yarn-site.xml

在这里插入图片描述
d.修改mapred-site.xml

cp /opt/module/hadoop/etc/hadoop/mapred-site.xml.template /opt/module/hadoop/etc/hadoop/mapred-site.xml
vi /opt/module/hadoop/etc/hadoop/mapred-site.xml

在这里插入图片描述

e.修改hadoop-env.sh

vi /opt/module/hadoop/etc/hadoop/hadoop-env.sh

在这里插入图片描述
f.修改slaves文件

vi /opt/module/hadoop/etc/hadoop/slaves

在这里插入图片描述

g.分发jdk和hadoop到各节点

xsync /opt/module/
xsync /etc/profile.d/my_env.sh

③ 集群启动
a.单点启动

#格式化NameNode
#hadoop01上用hadoop用户执行
hdfs namenode -format
#如下图箭头所指的，即为初始化成功

在这里插入图片描述
b.集群启动

#hadoop01上用hadoop用户执行
start-dfs.sh
#完成后可执行jps 查看namenode进程是或否启动

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

#hadoop02执行，启动yarn
start-yarn.sh
#完成后执行jps查看进程

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
创建查看各个节点进程的脚本

vi /home/hadoop/jpsall.sh

#!/bin/bash
for i in hadoop01 hadoop02 hadoop03
do
  echo "======== $i ========"
  ssh $i "jps " | grep -v jps
done

执行结果
在这里插入图片描述
③ 验证hadoop安装是否成功
1.登录hdfs管理界面(端口为50070)
在这里插入图片描述
2.登录yarn管理界面
在这里插入图片描述
至此，hadoop集群已部署完成，后续可进行其他组件的搭建和开发​。

关注公众号，一起学习大数据技术
在这里插入图片描述
在这里插入图片描述

BigData学习随笔
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
hadoop安装教程
weixin_44312107的博客
07-14 696
第3章 Hadoop运行环境搭建（开发重点） 完整hadoop课程： https://item.taobao.com/item.htm?ft=t&id=623286114101 3.1 虚拟机环境准备 克隆虚拟机 修改克隆虚拟机的静态IP 修改主机名 关闭防火墙 创建atguigu用户 配置atguigu用户具有root权限（详见《尚硅谷大数据技术之Linux》） 7．在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 [at
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程
SiccyHsiang的博客
04-22 3099
CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程 文章目录CentOS7+Hadoop2.7.2完全分布式集群搭建超详细教程@[TOC](文章目录)1.虚拟机及软件准备2.CentOS虚拟机配置相关（根据自己需要而定）3.固定虚拟机ip 1.虚拟机及软件准备 VMware下载地址： https://www.vmware.com/products/workstation-pro/workstation-pro-evaluation.html jdk下载地址： https://www.ora
Centos 7之Hadoop搭建
最新发布
Linux技术宅
06-04 827
HDFS 有着高容错性（fault-tolerent）的特点，并且设计用来部署在低廉的（low-cost）硬件上。HDFS 开始是为开源的 apache 项目 nutch 的基础结构而创建，HDFS 是 hadoop 项目的一部分，而 hadoop 又是 lucene 的一部分。下载地址：https://archive.apache.org/dist/hadoop/common/hadoop-3.3.4/hadoop-3.3.4.tar.gz。3、配置hadoop-env.sh。12、启动hadoop。
CentOS7 Hadoop2.7.2完全分布式集群搭建
qq_46266006的博客
10-23 1688
安装三台CentOS 7。 虚拟机网络设置。 1.关闭防火墙，输入命令：systemctl stop firewalld 2.设置静态ip （1）确定网关Gateway IP （2）分别为修改三台虚拟机/etc/sysconfig/network-scripts路径下，相应的 ifcfg-ens33文件 在终端输入：vi /etc/sysconfig/network-scripts 将BOOTPROTO=dhcp改为BOOTPROTO=static 并在...
HADOOP集群搭建
weixin_42469720的博客
03-18 190
HADOOP集群搭建 下载hadoop文件并解压 修改环境变量及配置文件 尝试单机启动 修改host 配置免密登录 复制文件到其他服务器上 测试登录 下载hadoop文件并解压 以hadoop2.7.2为例： cd 到你存放文件的路径下 wget http://archive.apache.org/dist/hadoop/core/hadoop-2.7.2/hadoop-2.7.2.tar.gz 如果觉得下载慢可以换自己的链接 创建一个路径 mkdir /usr/local/hadoop 进入到路径
centos7 64位下编译Hadoop2.7.2源码库文件
12-31
以下是关于如何在CentOS 7 64位系统上编译Hadoop 2.7.2源码库文件的详细步骤及相关的知识点： 1. **环境准备**：首先确保你的系统安装了必要的开发工具，如GCC、Java开发工具包（JDK）、Maven和Git。可以使用以下...
hadoop2.7.2集群_centos7 环境搭建
09-15
本教程将详述如何在CentOS 7环境下搭建Hadoop 2.7.2集群，同时也会提及到Java开发工具集（JDK）8u144的安装，因为Hadoop运行需要Java环境的支持。 首先，我们需要了解Hadoop的基本概念。Hadoop是由Apache软件基金会...
hadoop2.7.2HA集群安装
11-02
### Hadoop 2.7.2 HA集群安装详解 #### 一、概述 Hadoop是一个开源软件框架，用于分布式存储和处理大型数据集。本文档将详细介绍如何搭建一个Hadoop 2.7.2版本的高可用（High Availability，简称HA）集群。此集群...
centos6.7编译的hadoop2.7.2
09-24
在本文中，我们将深入探讨如何在CentOS 6.7操作系统上编译并安装Hadoop 2.7.2。Hadoop是一个开源的分布式计算框架，由Apache软件基金会开发，用于处理和存储大规模数据集。它主要由两个核心组件构成：Hadoop ...
在centos7下正确安装伪分布hadoop2.7.2和配置eclipse.docx
11-11
在CentOS7系统中安装和配置Hadoop2.7.2的伪分布式模式，以及为Eclipse开发环境做准备，涉及多个步骤。首先，我们需要创建一个名为`hadoop`的用户，以便更好地管理和操作Hadoop。可以通过以下命令创建新用户： 1. ...
Hadoop_2.7.2安装包.rar
02-11
资源中是Hadoop2.7.2版本安装包，安装配置说明可参考我的博客，如果安装过程中遇到问题可与我联系解决。
hadoop-2.7.2.zip
05-29
大数据hadoop-2.7.2.zip，用于centos系统安装测试，请大家放心下载
hadoop-2.5.2.tar.gz
02-28
hadoop-2.5.2.tar.gzhadoop-2.5.2.tar.gzhadoop-2.5.2.tar.gzhadoop-2.5.2.tar.gz
hadoop-2.7.2-hbase-jar.tar.gz
05-21
hadoop-2.7.2-hbase-jar.tar.gz hadoop-2.7.2-hbase-jar.tar.gz hadoop-2.7.2-hbase-jar.tar.gz
windows下安装并启动hadoop2.7.2
weixin_30389003的博客
05-13 297
　　64位windows安装hadoop没必要倒腾Cygwin，直接解压官网下载hadoop安装包到本地->最小化配置4个基本文件->执行1条启动命令->完事。一个前提是你的电脑上已经安装了jdk，设置了java环境变量。下面把这几步细化贴出来，以hadoop2.7.2为例 　　1、下载hadoop安装包就不细说了：http://hadoop.apache.org/->左...
Centos hadoop-2.7.7安装
weixin_54490958的博客
12-27 1948
装好了 CentOS 系统之后，在安装 Hadoop 前还需要做一些必备工作 创建hadoop用户 首先在终端中输入su，按回车，输入 root 密码以 root 用户登录，接着执行命令创建新用户 hadoop: su # 以 root 用户登录 useradd -m hadoop -s /bin/bash # 创建新用户hadoop 接着使用如下命令修改密码，按提示输入两次密码，密码随意指定，若提示“无效的密码，过于简单”则再次输入...
hadoop2.7.2搭建完全分布式集群
weixin_46122692的博客
10-10 773
新建虚拟机 修改虚拟机的静态IP 修改主机名,添加主机和ip的映射关系 关闭防火墙 （1-4 通过脚本完成） 创建普通用户 　　useradd jinghang 　　passwd jinghang 配置普通用户具有root权限 　　vim /etc/sudoers 　　　　在91行下添加如下内容： 　　　　jinghang ALL=(ALL) NOPASSWD:ALL 完成后:wq! 7.在/opt目录下创建文件夹（software存放压缩软件包，modul存放解压后的软件包） ..
centos7 hadoop2.7.2 分布式集群搭建
weixin_43730035的博客
07-28 152
主要参考https://www.linuxidc.com/Linux/2015-11/124800.htm这篇文章，下面是我的笔记。 搞了三天，终于成功了 如下所示： 安装jdk，首先检查jdk是否已安装，安装则需卸载（master，slave均需要）： 安装JDK，首先创建一个java文件夹，然后： 解压jdk时，注意cd到java文件夹下！ Jdk安装完成后将java文件夹复制到子节点： scp –r /home/java root@192.168.220.133:/home vi /etc/p
CentOS7安装Hadoop2.7.2伪分布式及Eclipse配置指南
"该文档详细介绍了如何在CentOS7操作系统中正确安装Hadoop 2.7.2的伪分布式环境，并且配置Eclipse IDE，以便于进行Hadoop相关的开发工作。作者通过实操验证了这一过程的成功性。" 在安装Hadoop伪分布式环境之前，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BigData学习随笔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值