使用shell脚本安装hadoop高可用集群

最新推荐文章于 2023-11-21 11:30:32 发布
最新推荐文章于 2023-11-21 11:30:32 发布
阅读量341 收藏
点赞数
分类专栏： java 文章标签： java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_67392409/article/details/124467562
版权
本文详细指导了如何创建虚拟机，复制并配置三台Hadoop节点，包括安装JDK、Hadoop和Zookeeper，以及一键启动集群的过程。重点介绍了脚本的执行步骤和配置，包括配置文件的管理及集群状态验证。
摘要由CSDN通过智能技术生成

文章目录

集群划分

192.168.56.120 hadoop01

192.168.56.121 hadoop02

192.168.56.122 hadoop03

QuorumPeerMain

QuorumPeerMain

QuorumPeerMain

JournalNode

JournalNode

JournalNode

NameNode

NameNode

–

ResourceManager

ResourceManager

–

NodeManager

NodeManager

NodeManager

DFSZKFailoverController

DFSZKFailoverController

–

DataNode

DataNode

DataNode

脚本和相关的文件如下,提取码: sweh
相关文件

一.创建一台虚拟机

  • 1.准备一台纯净版的centos7系统,修改静态ip为192.168.56.120,主机名为hadoop01,关闭防火墙,重启网络,连接moba
  • 2.创建安装包目录:mkdir /opt/software
  • 3.创建安装目录: mkdir /opt/install
  • 4.将脚本和相关配置文件安装包拖到安装包目录下
  • 5.修改脚本的权限:chmod 777 install*
  • 6.执行脚本安装jdk:/opt/software/installJdk.sh
  • 7.执行脚本安装hadoop和zookeeper:/opt/software/installHadoop.sh
  • 8.关闭该虚拟机

二.复制两台虚拟机

  • 1.一台修改静态ip为192.168.56.121 ,主机名为hadoop02

  • 2.另一台修改静态ip为192.168.56.122 ,主机名为hadoop03

  • 3.将hadoop02机器zookeeper的myid修改为2,hadoop03修改为3

  • 4.三台机器配置免登录

  • 1)ssh-keygen -t rsa -P ""生成私钥

  • 2)cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys添加到信任

  • 3)远程免登录:ssh-copy-id -i ~/.ssh/id_rsa.pub -p22 root@192.168.56.120 ,注意一台向其他两台发送

  • 4)三台机器分别执行:

    ssh -o StrictHostKeyChecking=no hostname

三.启动集群

  • 1.3台 zkServer.sh start,三台hadoop-daemon.sh start journalnode
  • 2.hadoop01 hadoop namenode -format,hadoop-daemon.sh start namenode
  • 3.hadoop02 hdfs namenode -bootstrapStandby,只在第一次启动需要同步以后不需要
  • 3.hadoop01 hdfs zkfc -formatZK
  • 4.三台停掉所有Journalnode进程: hadoop-daemon.sh stop journalnode
  • 5.hadoop01hadoop-daemon.sh stop namenode
  • 6.hadoop01 start-dfs.sh
  • 7.hadoop01 start-yarn.sh
  • 8.hadoop02 yarn-daemon.sh start resourcemanager
  • 9启动后效果如下:
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

四.脚本内容如下

1.jdk

#!/bin/bash
#安装jdk1.8,需要先创建software目录和install目录,然后将jdk包拖进software目录中
tar -zxvf  /opt/software/jdk-8u221-linux-x64.tar.gz -C /opt/install/
`echo "export JAVA_HOME=/opt/install/jdk1.8.0_221" >> /etc/profile`
`echo 'export CLASSPATH=.:$JAVA_HOME/rt.jar:$JAVA_HOME/tools.jar:$JAVA_HOME/dt.jar' >> /etc/profile`
`echo 'export JRE_HOME=$JAVA_HOME/jre' >> /etc/profile`
`echo 'export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin' >> /etc/profile`
source /etc/profile
java -version

2.hadoop和zookeeper

#!/bin/bash
#将zookeeper和hadoop安装包挪到software下,将配置文件也挪到software目录下
tar -zxvf  /opt/software/zookeeper-3.4.6.tar.gz -C /opt/install/
tar -zxvf  /opt/software/hadoop-2.6.0-cdh5.14.2.tar.gz -C /opt/install/
mv /opt/install/hadoop-2.6.0-cdh5.14.2 /opt/install/hadoop
`echo "export HADOOP_HOME=/opt/install/hadoop" >> /etc/profile`
`echo 'export HADOOP_MAPRED_HOME=$HADOOP_HOME' >> /etc/profile`
`echo 'export HADOOP_COMMON_HOME=$HADOOP_HOME' >> /etc/profile`
`echo 'export HADOOP_HDFS_HOME=$HADOOP_HOME' >> /etc/profile`
`echo 'export YARN_HOME=$HADOOP_HOME' >> /etc/profile`
`echo 'export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native' >> /etc/profile`
`echo 'export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"' >> /etc/profile`
`echo 'export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin' >> /etc/profile`
`echo 'export ZK_HOME=/opt/install/zookeeper-3.4.6' >> /etc/profile`
`echo 'export PATH=$PATH:$ZK_HOME/bin' >> /etc/profile`
source /etc/profile
sed -i  '24,26s/${JAVA_HOME}//opt/install/jdk1.8.0_221/gi' /opt/install/hadoop/etc/hadoop/hadoop-env.sh
cat $PWD/core-site.xml > /opt/install/hadoop/etc/hadoop/core-site.xml
cat $PWD/hdfs-site.xml > /opt/install/hadoop/etc/hadoop/hdfs-site.xml
cat $PWD/mapred-site.xml > /opt/install/hadoop/etc/hadoop/mapred-site.xml
cat $PWD/yarn-site.xml > /opt/install/hadoop/etc/hadoop/yarn-site.xml
cat $PWD/zoo.cfg > /opt/install/zookeeper-3.4.6/conf/zoo.cfg
cat $PWD/slaves > /opt/install/hadoop/etc/hadoop/slaves
mkdir /opt/install/zookeeper-3.4.6/zkData
mkdir   /opt/install/zookeeper-3.4.6/zkLog
touch /opt/install/zookeeper-3.4.6/zkData/myid
echo '1' >  /opt/install/zookeeper-3.4.6/zkData/myid
echo '192.168.56.120 hadoop01' >> /etc/hosts
echo '192.168.56.121 hadoop02' >> /etc/hosts
echo '192.168.56.122 hadoop03' >> /etc/hosts
source /etc/profile
tar -xvf $PWD/hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib/native
tar -xvf $PWD/hadoop-native-64-2.6.0.tar -C $HADOOP_HOME/lib
echo 'hadoop 版本信息:' 
hadoop version

3.一键启动集群

#!/usr/bin/env bash
ssh hadoop01 "echo '1' > /opt/install/zookeeper-3.4.6/zkData/myid"
ssh hadoop02 "echo '2' > /opt/install/zookeeper-3.4.6/zkData/myid"
ssh hadoop03 "echo '3' > /opt/install/zookeeper-3.4.6/zkData/myid"
for s in hadoop01 hadoop02 hadoop03
do
	ssh $s "source /etc/profile; cd /opt/install/hadoop/; rm -rf hdfsTmp/"
done
sleep 2
for s in hadoop01 hadoop02 hadoop03
do
	ssh $s "source /etc/profile; zkServer.sh start; hadoop-daemon.sh start journalnode"
done
sleep 2
ssh hadoop01 "source /etc/profile; hadoop namenode -format; hadoop-daemon.sh start namenode"
sleep 2
ssh hadoop02 "source /etc/profile; hdfs namenode -bootstrapStandby"
sleep 2
ssh hadoop01 "source /etc/profile; hdfs zkfc -formatZK; hadoop-daemon.sh stop journalnode"
sleep 2
ssh hadoop02 "source /etc/profile; hadoop-daemon.sh stop journalnode"
sleep 2
ssh hadoop03 "source /etc/profile; hadoop-daemon.sh stop journalnode"
sleep 2
ssh hadoop01 "source /etc/profile; hadoop-daemon.sh stop namenode; start-dfs.sh; start-yarn.sh"
sleep 2
ssh hadoop02 "source /etc/profile; yarn-daemon.sh start resourcemanager"
sleep 2
for s in hadoop01 hadoop02 hadoop03
do
	echo "=================$s-jps================="
	ssh $s "source /etc/profile; jps"
done
sleep 2
for s in hadoop01 
do
	echo "=================$s -resourcemanager status================="
	ssh $s "source /etc/profile; yarn rmadmin -getServiceState rm1"
	echo "=================$s -namenode status================="
	ssh $s "source /etc/profile; hdfs haadmin -getServiceState nn1"
done
sleep 2
for s in hadoop02
do
	echo "=================$s -resourcemanager status================="
	ssh $s "source /etc/profile; yarn rmadmin -getServiceState rm2"
	echo "=================$s -namenode status================="
	ssh $s "source /etc/profile; hdfs haadmin -getServiceState nn2"
done
sleep 2
for s in hadoop01 hadoop02 hadoop03
do
	echo "=================$s- zkServer status================="
	ssh $s "source /etc/profile; zkServer.sh status"
done

使用脚本运行效果如下:

=================hadoop01-jps=================
22896 NameNode
22002 QuorumPeerMain
23430 DFSZKFailoverController
23016 DataNode
23674 NodeManager
24010 Jps
23549 ResourceManager
23231 JournalNode
=================hadoop02-jps=================
15138 NameNode
15218 DataNode
14900 QuorumPeerMain
15317 JournalNode
15445 DFSZKFailoverController
15787 Jps
15534 NodeManager
15710 ResourceManager
=================hadoop03-jps=================
12996 NodeManager
12794 DataNode
13147 Jps
12621 QuorumPeerMain
12893 JournalNode
=================hadoop01 -resourcemanager status=================
20/07/09 08:48:58 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-jav                                    a classes where applicable
active
=================hadoop01 -namenode status=================
active
=================hadoop02 -resourcemanager status=================
20/07/09 08:49:02 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-jav                                    a classes where applicable
standby
=================hadoop02 -namenode status=================
standby
=================hadoop01- zkServer status=================
JMX enabled by default
Using config: /opt/install/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
=================hadoop02- zkServer status=================
JMX enabled by default
Using config: /opt/install/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
=================hadoop03- zkServer status=================
JMX enabled by default
Using config: /opt/install/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

注:需要下载psmisc依赖包,否则无法完成自动切换节点

yum install -y psmisc

m0_67392409
关注
专栏目录
shell案例与hadoop安装
afnns的博客
10-29 197
文章目录1、shell 案例1.1 “”和‘’的区别1.2 位置参数变量1.3 字符串运算符1.4 文件测试运算符1.5 ${ } ：变量替换1.6 判断字符和数字2、linux 定时任务 crontab2.1 使用命令编辑定时任务2.2 编辑定时任务文件设置定时任务3、hadoop安装 - hadoop伪分布式安装3.1 hadoop安装 - 配置免密登录（RSA MD5）3.2 解压JDK8和hadoop-2.8.1.tar.gz，配置环境变量PATH3.2 修改hadoop配置文件4、启动hd
编写shell脚本——一键启动Hadoop集群
qq_59947103的博客
09-29 3937
第一步： 1.创建一个存放脚本的目录 命令："mkdir bin" （注：如果不了解存放脚本目录的命名，就将目录名命名为"bin"，如果 自己命名为其他可能在后面第四步的时候查找不到脚本） 2.在bin目录下创建"hadoop.sh"脚本 （1）进入新创建的bin目录下"cd bin" （2）创建"hadoop.sh"脚本并编写脚本："vim hadoo...
HadoopHA高可用集群启动脚本
07-07
使用需要修改成自己的路径 用sh ./ha-start启动
SHELL脚本实现网站高可用
阿蔡的博客
10-16 360
实现网站高可用的方法有很多，如：Keepalived，LVS等等，除此之外，通过SHELL脚本也可以实现网站高可用。以下介绍通过脚本来实现网站高可用简单方法： 原理： 使用虚拟IP和服务器子IP来实现，虚拟IP用VIP表示。假如两台服务器，一主，一备，默认主服务器启子IP，即VIP。网站访问是VIP指向主服务器，当主服务器挂了时，备服务器启用子IP，即备用服务器的VIP，此时，网站访问VIP指向了备服务器。如下图： 启用子IP方法： 把使用的网卡cp一份命名为：旧网卡名:1，做为VIP网卡 cp /e
Linux自动安装Hadoop集群（伪分布）（Shell脚本）
07-24
需要自己先安装jdk，也可以去这里https://download.csdn.net/download/weixin_44033210/12657718，这里有自动安装jdk的脚本
Hadoop-shell脚本
hy3131的博客
03-20 546
1、什么是shell 什么是shell？ Shell（外壳）是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言。Shell是指一种应用程序，这个应用程序提供了一个界面，用户通过这个界面访问操作系统内核的服务。 什么是脚本？ 脚本简单地说就是一条条的文字命令，这些文字命令是可以看到的（如可以用记事本打开查看、编辑）。常见的脚本：JavaScript（JS，前端），VBScript，ASP，JSP，PHP（后端），SQL（数据库操作语言），Perl，
Hadoop高可用自动化安装使用Shell脚本
01-18
本文将详细探讨如何通过Shell脚本来实现Hadoop的高可用自动化安装。 首先，我们要理解Hadoop高可用性（HA）的基本概念。Hadoop HA主要涉及到NameNode的HA，即通过部署多个NameNode实例，其中一个作为主NameNode...
shell脚本配置Hadoop伪分布式.zip
05-22
7. **install_jdk.sh**: 类似于install_hadoop.sh，这是一个安装JDK的shell脚本，确保系统具有运行Hadoop所需的Java环境。 8. **帮助文档.txt**: 提供了配置Hadoop伪分布式环境的详细步骤和指南，对于初学者来说...
shell脚本完成hadoop的集群安装
04-11
#shell脚本完成hadoop的集群安装 #步骤: #1.安装虚拟机，关闭防火墙、selinux #2.ssh免密码，编辑hosts文件 #3.安装JDK #4.安装hadoop #5.修改配置文件 #6.分发hadoop程序到各个节点 #7.启动集群
Hadoop2.7.1 集群部署及自动化脚本
luobailian的专栏
06-30 620
http://blog.csdn.net/zcf1002797280/article/details/49500027 实验环境 操作系统：ubuntu 14.04 64位 主机名 IP namenode 10.107.12.10 datanode1 10.107.12.20 datanode2
脚本搭建hadoop集群
06-08
自动化安装hadoop集群 脚本搭建hadoop集群 可以自定义主机名和IP地址 可以自定义安装jdk和hadoop（格式为*tar.gz） 注意事项 1、安装完jdk和hadoop请手动source /etc/profile 刷新环境变量 2测试脚本环境为centOS6，其他操作系统会有些配置不一样，请手动调整 资源描述： 安装Linux教程.mp4 搭建hadoop集群-脚本使用教程.mp4 搭建Hadoop集群.docx（此为文本教程，脚本都是按这个配置的） 脚本使用教程.txt 请评论区留言反馈，您宝贵的意见是我前进的动力。 我会经常更新的！
使用shell脚本实现自动化部署hadoop集群
weixin_33962621的博客
12-08 910
有四台Linux服务器，其中一台为主，其它为从。服务器使用的是CentOS6.5，jdk选择1.6，hadoop选择1.0.4版本。要到实际环境中应用还要根据实际情况做修改。如果是新装好的系统，要先配置好ip，shell脚本如下：#!bin/bashread "input ip:" ipecho 'the default hostname is master'...
Hadoop自动化部署脚本
weixin_30394633的博客
12-07 676
摘自：http://www.wangsenfeng.com/articles/2016/10/27/1477556261953.html 1 概述 最近自己写了一个Hadoop自动化部署脚本，包括Hadoop集群自动化部署脚本和Hadoop增加单节点自动化部署脚本。需要快速部署Hadoop集群的童鞋可以使用该脚本。这些脚本我在用5台虚拟机进行了测试，如果在使用中还有bug，欢迎指出。本文主...
Shell 脚本：Hadoop 集群一键安装脚本
AcWare 学习笔记
12-27 865
一键安装完全分布式 Hadoop 集群脚本
大数据开发之Hadoop篇-----hdfs shell脚本
weixin_39702831的博客
09-27 421
当我们已经将hadoop部署完以后，那么现在我们要怎么进行操作呢？当然，首先是完成hdfs上的文件存储，hdfs是一个文件存储系统和linux是一样的，都是通过shell命令来完成文件的上传和下载以及对文件的管理。本篇将介绍hdfs上对文件以及文件夹的管理。 首先，我们需要知道操作hdfs的命令是在哪里？如果你们没有将hadoop配置到环境变量当中，那么我们就切换到hadoop/bin目录下，我...
Hadoop全自动安装脚本
MC_cube的博客
06-24 563
Hadoop全自动安装脚本简介准备工作Java环境网络配置Hadoop安装文件脚本运行脚本命令脚本下载 脚本简介   最近学习了Linux下Hadoop伪分布式安装的方法，在自己手动成功安装后，尝试编写了一个shell脚本来自动完成安装过程。   脚本有些不太完善的地方，且以尽量少修改配置文件为目标编写。有任何问题欢迎指出。   脚本中包括中英文两种语言的提示，英文有部分为机翻，可能不太准确。 准备工作 Java环境   确保已经安装java，已经设置 JAVA_HOME环境变量。 验证：输入 $JAVA_
hadoop环境部署自动化shell脚本（伪分布式、完全分布式集群搭建）
weixin_42011520的博客
07-25 3312
本文旨在提供一个hadoop环境部署脚本帮助读者更快速地搭建用于学习和开发的hadoop环境，节省大数据技术入门时间和成本。
Hadoop单机版自动化部署脚本
最新发布
m0_57254949的博客
11-21 222
【代码】Hadoop单机版自动化部署脚本。
linux命令
automate123的博客
10-14 192
gdb调试 gcc -g test.c -o test gdb test l b 6 r info b p i p n $* 不包含扩展名的目标文件名称 $+ 所有的依赖文件，以空格分开，并以出现的先后为序，可能包含重复的依赖文件 $< 第一个依赖文件的名称 $@ 目标文件的完整名称 $^ 所有不重复的依赖文件，以空格分开 $% 如果目标是归档成员，则该变量表示目标的归档成员名称 hello:hello.o Gcc hello.o -o hello hello.o:hello.c hell..
shell一键安装hadoop集群部署
06-28
将以下命令复制到终端中安装Hadoop集群部署脚本： b'shell\xe4\xb8\x80\xe9\x94\xae\xe5\xae\x89\xe8\xa3\x85hadoop\xe9\x9b\x86\xe7\xbe\xa4\xe9\x83\xa8\xe7\xbd\xb2' 按下回车键开始安装。安装完成后，将你的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值