大数据集群软件启动脚本

最新推荐文章于 2024-09-01 21:08:00 发布
最新推荐文章于 2024-09-01 21:08:00 发布
阅读量410 收藏 9
点赞数 8
分类专栏： 大数据 文章标签： 大数据 hadoop hive zookeeper spark flume kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manongtuzi/article/details/134960093
版权

大数据集群软件启动脚本

大家也可以访问我的gitee仓库直接克隆源码大数据软件启动脚本:

包括：hadoop，zookeeper，kafka，flume，hive，maxwell，dolphinscheduler，superset，集群一键启动，集群文件分发，集群执行命令，集群同步时间脚本

hadoop

#!/bin/bash

# hadoop集群启动

if [ $# -eq 0 ]; then
	echo "Usage $0 start|stop"
fi
case $1 in

    "start"){
        echo " -------- 启动 集群 -------"
        echo " -------- 启动 hadoop集群 -------"
        ssh niit01 "source /etc/profile;start-dfs.sh"
        ssh niit03 "source /etc/profile;start-yarn.sh"
        ssh niit01 "source /etc/profile;mr-jobhistory-daemon.sh start historyserver"
    };;
    "stop"){
        echo " -------- 停止 集群 -------"
        echo " -------- 停止 hadoop集群 -------"
        ssh niit01 "source /etc/profile;mr-jobhistory-daemon.sh stop historyserver"
        ssh niit03 "source /etc/profile;stop-yarn.sh"
        ssh niit01 "source /etc/profile;stop-dfs.sh"
    };;
esac

zookeeper

#!/bin/bash

# zookeeper集群启动脚本

echo "Usage: $0 start|stop|status (zookeeper)"
case $1 in
"start"){
    for i in niit01 niit02 niit03
    do
        echo ---------- zookeeper $i 启动 ------------
        ssh $i "/opt/onlineedu/zookeeper/bin/zkServer.sh start"
    done
};;
"stop"){
for i in niit01 niit02 niit03
    do
        echo ---------- zookeeper $i 停止 ------------
        ssh $i "/opt/onlineedu/zookeeper/bin/zkServer.sh stop"
    done
};;
"status"){
    for i in niit01 niit02 niit03
    do
        echo ---------- zookeeper $i 状态 ------------
        ssh $i "/opt/onlineedu/zookeeper/bin/zkServer.sh status"
    done
};;
esac

kafka

#!/bin/bash

# kafka集群启动

case $1 in
"start"){
    for i in niit01 niit02 niit03
    do
    	echo " --------启动 $i Kafka-------"
        ssh $i "/opt/onlineedu/kafka/bin/kafka-server-start.sh -daemon /opt/onlineedu/kafka/config/server.properties"
    done
};;

"stop"){
    for i in niit01 niit02 niit03
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/onlineedu/kafka/bin/kafka-server-stop.sh stop"
    done
};;
esac

flume

#! /bin/bash

# flume采集通道1启动脚本

case $1 in
"start"){
    for i in niit01 niit02
    do
        echo " --------启动 $i 采集flume-------"
        ssh $i "nohup /opt/onlineedu/flume/bin/flume-ng agent --conf-file /opt/onlineedu/flume/job/file-flume-kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/onlineedu/flume/log1.txt 2>&1  &"
    done
};;
"stop"){
    for i in niit01 niit02
    do
        echo " --------停止 $i 采集flume-------"
        ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk  '{print \$2}' | xargs -n1 kill -9 "
    done
};;
esac


#! /bin/bash

# flume采集通道2启动脚本

case $1 in
"start"){
    for i in niit03
    do
        echo " --------启动 $i 消费flume-------"
        ssh $i "nohup /opt/onlineedu/flume/bin/flume-ng agent --conf-file /opt/onlineedu/flume/job/kafka-flume-hdfs.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/onlineedu/flume/log2.txt 2>&1  &"
    done
};;
"stop"){
    for i in niit03
    do
        echo " --------停止 $i 消费flume-------"
        ssh $i "ps -ef | grep kafka-flume-hdfs | grep -v grep | awk '{print \$2}' | xargs -n1 kill -9 "
    done
};;
esac


#!/bin/bash

# flume采集通道3启动脚本

case $1 in
"start")
        echo " --------启动 niit03 业务数据flume-------"
        ssh niit03 "nohup /opt/onlineedu/flume/bin/flume-ng agent -n a1 -c /opt/onlineedu/flume/conf -f /opt/onlineedu/flume/job/kafka_to_hdfs_db.conf >/opt/onlineedu/flume/log3.txt >/dev/null 2>&1 &"
;;
"stop")

        echo " --------停止 niit03 业务数据flume-------"
        ssh niit03 "ps -ef | grep kafka_to_hdfs_db | grep -v grep |awk '{print \$2}' | xargs -n1 kill"
;;
esac

hive

#!/bin/bash

# hive启动

HIVE_LOG_DIR=$HIVE_HOME/logs
mkdir -p $HIVE_LOG_DIR
#检查进程是否运行正常，参数1为进程名，参数2为进程端口

function check_process()
{
  pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
  ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
  echo $pid
  [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
  metapid=$(check_process HiveMetastore 9083)
  cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
  cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
  [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
  server2pid=$(check_process HiveServer2 10000)
  cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
  [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
  metapid=$(check_process HiveMetastore 9083)
  [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
  server2pid=$(check_process HiveServer2 10000)
  [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
  hive_start
  ;;
"stop")
  hive_stop
  ;;
"restart")
  hive_stop
  sleep 2
  hive_start
  ;;
"status")
  check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
  check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
  ;;
*)
  echo Invalid Args!
  echo 'Usage: '$(basename $0)' start|stop|restart|status (hiveserver2 & metastore)'
  ;;
esac

maxwell

#!/bin/bash

# hive启动

HIVE_LOG_DIR=$HIVE_HOME/logs
mkdir -p $HIVE_LOG_DIR
#检查进程是否运行正常，参数1为进程名，参数2为进程端口

function check_process()
{
  pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
  ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
  echo $pid
  [[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}

function hive_start()
{
  metapid=$(check_process HiveMetastore 9083)
  cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
  cmd=$cmd" sleep 4; hdfs dfsadmin -safemode wait >/dev/null 2>&1"
  [ -z "$metapid" ] && eval $cmd || echo "Metastroe服务已启动"
  server2pid=$(check_process HiveServer2 10000)
  cmd="nohup hive --service hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
  [ -z "$server2pid" ] && eval $cmd || echo "HiveServer2服务已启动"
}

function hive_stop()
{
  metapid=$(check_process HiveMetastore 9083)
  [ "$metapid" ] && kill $metapid || echo "Metastore服务未启动"
  server2pid=$(check_process HiveServer2 10000)
  [ "$server2pid" ] && kill $server2pid || echo "HiveServer2服务未启动"
}

case $1 in
"start")
  hive_start
  ;;
"stop")
  hive_stop
  ;;
"restart")
  hive_stop
  sleep 2
  hive_start
  ;;
"status")
  check_process HiveMetastore 9083 >/dev/null && echo "Metastore服务运行正常" || echo "Metastore服务运行异常"
  check_process HiveServer2 10000 >/dev/null && echo "HiveServer2服务运行正常" || echo "HiveServer2服务运行异常"
  ;;
*)
  echo Invalid Args!
  echo 'Usage: '$(basename $0)' start|stop|restart|status (hiveserver2 & metastore)'
  ;;
esac

dolphinscheduler

#!/bin/bash

# dolphinscheduler集群启动

function node_start()
{
  /opt/onlineedu/dolphinscheduler/bin/start-all.sh  
  /home/niit/bin/xRun.sh jps
}

function node_stop()
{
  /opt/onlineedu/dolphinscheduler/bin/stop-all.sh
  /home/niit/bin/xRun.sh jps
}
case $1 in
"start")
  node_start
  ;;
"stop")
  node_stop
  ;;
"restart")
  node_stop
  sleep 10
  node_start
  ;;
*)
  
esac


#!/bin/bash

# dolphinscheduler单机版启动

function node_start()
{
  /opt/onlineedu/dolphinscheduler/bin/dolphinscheduler-daemon.sh start standalone-server   
  /home/niit/bin/xRun.sh jps
}

function node_stop()
{
  /opt/onlineedu/dolphinscheduler/bin/dolphinscheduler-daemon.sh stop standalone-server
  /home/niit/bin/xRun.sh jps
}
case $1 in
"start")
  node_start
  ;;
"stop")
  node_stop
  ;;
"restart")
  node_stop
  sleep 10
  node_start
  ;;
*)
  
esac

superset

#!/bin/bash

# superset可视化启动

superset_status(){
    result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`
    if [[ $result -eq 0 ]]; then
        return 0
    else
        return 1
    fi
}
superset_start(){
        source ~/.bashrc
        superset_status >/dev/null 2>&1
        if [[ $? -eq 0 ]]; then
            conda activate superset ; gunicorn --workers 5 --timeout 120 --bind niit01:8787 --daemon 'superset.app:create_app()'
        else
            echo "superset正在运行"
        fi

}

superset_stop(){
    superset_status >/dev/null 2>&1
    if [[ $? -eq 0 ]]; then
        echo "superset未在运行"
    else
        ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
    fi
}


case $1 in
    start )
        echo "启动Superset"
        superset_start
    ;;
    stop )
        echo "停止Superset"
        superset_stop
    ;;
    restart )
        echo "重启Superset"
        superset_stop
        superset_start
    ;;
    status )
        superset_status >/dev/null 2>&1
        if [[ $? -eq 0 ]]; then
            echo "superset未在运行"
        else
            echo "superset正在运行"
        fi
esac

集群一键启动

#!/bin/bash

# 所有集群所有软件启动脚本

function node_start()
{
  /home/niit/bin/xCluster.sh start
  sleep 15
  /home/niit/bin/zk.sh start
  sleep 10
  /home/niit/bin/kf.sh start
  sleep 10
  /home/niit/bin/hv.sh start
  sleep 5
  /home/niit/bin/mxw.sh start
  sleep 5
  /home/niit/bin/f1.sh start
  sleep 5
  /home/niit/bin/f2.sh start
  sleep 5
  /home/niit/bin/f3.sh start
  sleep 5
  /home/niit/bin/dolphinscheduler-standalone.sh stop 
  sleep 5
  /home/niit/bin/superset.sh start
  sleep 5
  /home/niit/bin/xRun.sh jps
}

function node_stop()
{
  /home/niit/bin/mxw.sh stop
  sleep 5
  /home/niit/bin/f1.sh stop
  sleep 5
  /home/niit/bin/f2.sh stop
  sleep 5
  /home/niit/bin/f3.sh stop
  sleep 5
  /home/niit/bin/kf.sh stop
  sleep 10
  /home/niit/bin/kf.sh stop
  sleep 10
  /home/niit/bin/hv.sh stop
  sleep 5
  /home/niit/bin/xCluster.sh stop
  sleep 15
  /home/niit/bin/zk.sh stop
  sleep 10
  /home/niit/bin/superset.sh stop
  sleep 5
  /home/niit/bin/dolphinscheduler-standalone.sh stop 
  sleep 5
  /home/niit/bin/xRun.sh jps
}
case $1 in
"start")
  node_start
  ;;
"stop")
  node_stop
  ;;
"restart")
  node_stop
  sleep 10
  node_start
  ;;
*)
  
esac

集群文件分发

#!/bin/bash

# 集群分发文件脚本，普通用户权限

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    echo Usage: xSync.sh path1 path2..
    exit;
fi

#2. 遍历集群所有机器
for host in niit01 niit02 niit03
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4 判断文件是否存在
        if [ -e $file ]
        then
            #5. 获取父目录
            pdir=$(cd -P $(dirname $file); pwd)

            #6. 获取当前文件的名称
            fname=$(basename $file)
            ssh $host "mkdir -p $pdir"
            rsync -av $pdir/$fname $host:$pdir
        else
            echo $file does not exists!
        fi
    done
done


#!/bin/bash

# 集群分发文件脚本，root权限

#1. 判断参数个数
if [ $# -lt 1 ]
then
    echo Not Enough Arguement!
    echo Usage: xSync.sh path1 path2 ...
    exit;
fi

#2. 遍历集群所有机器
for host in niit01 niit02 niit03
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送

    for file in $@
    do
        #4 判断文件是否存在
        if [ -e $file ]
        then
            #5. 获取父目录
            pdir=$(cd -P $(dirname $file); pwd)

            #6. 获取当前文件的名称
            fname=$(basename $file)
            sudo ssh $host "mkdir -p $pdir"
            sudo rsync -av $pdir/$fname $host:$pdir
        else
            echo $file does not exists!
        fi
    done
done

集群执行命令

#/bin/bash

# 集群执行命令脚本

if (( $# == 0 ));then
    echo "Usage xRun.sh \"<COMMAND>\""
    exit 0
fi
for node in niit01 niit02 niit03
do
    echo "======== $node ========"
    echo "ssh $node $1"
    ssh $node "source /etc/profile;$1"
done

集群同步时间

#!/bin/bash

# 集群时间同步脚本，需要安装chrony到集群中

# 检查参数是否为空
if [ -z "$1" ]; then
        echo "Usage:  `basename $0` yyyy-MM-dd HH:mm:ss"
  exit 1
fi

# 使用date命令将时间字符串转换为日期和时间
# 如果转换失败，则说明时间字符串不合法
if ! date -d "$*" >/dev/null 2>&1; then
        echo "Wrong argument for $*"
        echo "Usage:  `basename $0` yyyy-MM-dd HH:mm:ss"
  exit 1
fi

echo ">>>>>>>>>>>> SYNC TIME START >>>>>>>>>>>>"
sum=-1

while [ $sum -ne 0 ]; do
  echo set time for niit01 to $1 '>>>'
  ssh niit01 "(sudo timedatectl set-ntp false && sudo date -s \"$*\" && sudo timedatectl set-ntp true)"
  ok1=$?
  echo sync time from niie02 to niit01 '>>>'
  ssh niit02 "(sudo timedatectl set-ntp false && sudo timedatectl set-ntp true)"
  ok2=$?
  echo sync time from niit03 to niit01 '>>>'
  ssh niit03 "(sudo timedatectl set-ntp false && sudo timedatectl set-ntp true)"
  ok3=$?
  sum=`expr $ok1 + $ok2 + $ok3`

  if [ $sum -eq 0 ]; then
    echo "<<<<<<<<<<<<< SYNC TIME END <<<<<<<<<<<<<"
    sleep 5
    xRun.sh date
  else
    echo "sync time failed, will try 10 senconds later"
    sleep 10
  fi
done
槐月初叁
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop一键启动脚本示例
String114514的博客
10-06 262
创建一个一键启动Hadoop集群的脚本是一个复杂的任务，因为Hadoop集群通常包括多个组件和配置。以下是一个简单的示例脚本，它可以帮助你启动一个基本的Hadoop集群。请注意，这只是一个示例，实际的Hadoop集群可能需要更复杂的设置和配置。请注意，这只是一个基本示例脚本，实际的Hadoop集群启动脚本可能需要更多的配置和错误处理。在生产环境中，建议使用Hadoop的官方启动脚本或者第三方管理工具来管理Hadoop集群。
大数据集群一键启动脚本
caocry的博客
02-11 307
centos一键启动脚本
【大数据】搭建Hadoop集群（附一键部署脚本）
纯码农的博客
08-21 1630
汝之观览，吾之幸也！本文主要讲解Hadoop运行环境的搭建（三台虚拟机），一键脚本部署，全自动化，不再需要按照文档一个一个进行配置，脚本执行后就可登录hadoop集群。
【大数据之Hive】七、 Hive服务启动脚本
阿宁的博客
06-06 426
先在$HIVE_HOME目录下创建一个logs文件夹，该文件夹下再创建两个文件：metastore.log和hiveServer2.log。在/home/用户名/bin下创建一个脚本：hiveservices.sh。然后将其复制到$HIVE_HOME/bin/下。
大数据生态（六）zookeeper集群部署(Linux和Windows[含一键启动脚本])
长臂人猿的博客
11-10 2641
Linux集群 前言 e3base为用户名，e3base目录作为集群组件安装目录，e3-info是创建的存放组件数据和日志的文件夹。具体集群部署前提。 1、解压安装Zookeeper到/e3base/zookeeper目录下 tar -zxvf zookeeper-3.4.5-cdh5.14.0-e3base3.0.0.tar.gz -C /e3base/zookeeper 记得将 移到/e3base目录下并改名为zookeeper 提前部署已经写好$E3_INFO_HO...
大数据集群操作脚本
来自宇宙岛的海龟的博客
11-29 262
#! /bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do ssh $i "/opt/module/zookeeper-3.4.10/bin/zkServer.sh start" done };; "stop"){ for i in hadoop102 hadoop103 hadoop104 ...
shell脚本之 大数据集群一键启动
夏天小厨的博客
03-08 902
在日常操作中，我们搭建了很多集群，例如hadoop、zookeeper、Hbase、kafka、Flume、kylin等，每次启动以及停止这些进程都很麻烦，例如zookeeper还需要一台机器一台机器的登录然后执行命令，这样极其不方便。所以今天要跟大家分享的就是使用shell脚本去启动这些进程。 一、zookeeper集群 1、zookeeper集群启动，创建start_zk.sh文件，写入以...
大数据环境一键安装脚本.zip
03-04
总的来说，"大数据环境一键安装脚本.zip" 提供的"automaticDeploy-master"是一个全面的解决方案，旨在简化大数据集群的部署过程，使用户能够快速地搭建起一个稳定、高效的大数据平台。对于初学者和管理员来说，这样...
Hadoop大数据集群搭建（超详细）_hadoop集群搭建
2401_84181070的博客
04-27 984
打开C:\Windows\System32\drivers\etc下的hosts文件,添加以下内容（注：如果没有notepad++这类软件，可以通过记事本保存在其他位置，然后拖动到该文件夹下）同样通过mobaxterm的上的SFTP功能（或其他工具）上传到/export/software目录下，然后解压到/export/servers目录下。传完之后要在hadoop02和hadoop03上分别执行 source /etc/profile 命令，来刷新配置文件。在hadoop01上执行。
hadoop大数据集群，docker镜像地址.txt
08-15
自己根据大数据需求搞的docker镜像，3台服务器，实现hadoop、hbase、phoenix、zookeeper、scala、kafka、hive、mysql集群环境，使用方便，快速搭建hadoop大数据集群环境，镜像拉取后可以通过一个脚本启动集群。
hadoop集群一键启动、关闭
10-15
自己写的脚本，一键启动hadoop、hbase、zookeeper(几个zookeepler同时启动)、hive。另有一键关闭集群和一键关机功能
hadoop 高可用集群一键启动脚本
11-03
hadoop 高可用启动脚本，运行启动zookeeper集群和hadoop ha集群
大数据集群搭建aaaa.zip
10-23
“大数据集群搭建aaaa”这个文件可能包含了这些组件的安装脚本、配置模板、启动和停止脚本以及可能的故障排查指南。为了确保成功搭建，你需要按照文件中的步骤逐一操作，同时理解每个步骤背后的原理，以便于在未来...
大数据技术概述
weixin_51591328的博客
08-28 1375
知识点 其他
窥一斑而知全豹
xuexiaogang的专栏
08-29 1668
由于经济形势的不好，我看参展商少了一点。可能不少都是为了生计而挣扎。2023年1月明叔主持的栏目有一期特别节目《数据库诸神之战》，请来了OB、TiDB、TDSQL和TDEngine的掌门人来讨论数据库的未来，那时候结论是3年后国内健康运营的数据库公司不超过30家。目前已经快过去2年了。现在日子的确越来越难过了。现实可能和预测差不多。
自然语言处理系列五十》文本分类算法》SVM支持向量机算法原理
最新发布
weixin_52610848的博客
09-01 652
【配套新书教材】《自然语言处理原理与实战》（人工智能科学与技术丛书）【陈敬雷编著】【清华大学出版社】新书特色：本书从自然语言处理基础开始，逐步深入各种NLP热点前沿技术，使用了Java和Python两门语言精心编排了大量代码实例，契合公司实际工作场景技能，侧重实战。
基于大数据的电商平台电脑销售数据分析系统
Python极客之家
08-29 1262
本项目利用网络爬虫技术从京东电商平台采集各类品牌笔记本电脑的价格、销量、评论等数据，经过数据清洗后存入数据库，并实现电脑销售、市场占有率、价格区间等多维度的可视化统计分析，并基于多属性的特产的个性化推荐。 系统采用 Flask 框架构建后端分析服务，前端采用 Bootstrap + Echarts 实现可视化渲染，帮助商家更好地理解市场需求，从而制定有效的营销策略。
SparkSQL DML语句详解
SunnyRivers
08-27 1123
数据操作语句用于添加、更改或删除数据。LOAD。
Kafka 到数据仓库：使用 bend-ingest-kafka 将消息加载到 Databend
Databend的博客
08-29 898
JSON模式：此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。RAW模式：在此模式下，该工具会创建一个包含uuidkoffsetkpartitionraw_data和add_time等列的表。Kafka 消息存储在raw_data列中，并将其他元数据注入到其他列中，从而保留原始消息格式并提供有用的上下文。有关 bend-ingest-kafka 的更多详细信息，请查看README。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值