大数据集群常用脚本

已于 2023-02-12 16:37:25 修改
阅读量881 收藏 5
点赞数
分类专栏： Shell 文章标签： 开发语言
于 2020-10-28 19:56:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43192537/article/details/109340003
版权

目录

拉取所有节点的jps myjps

  1. 在普通用户的家目录下新建bin目录，专门存放脚本
/home/admin/bin
  1. 在 bin 目录下 vim 文件 myjps.sh
#!/bin/bash
for(( i=102;i<=104;i=$i+1 ))
do
        echo "------------ hadoop$i ------------"
        ssh hadoop$i /opt/module/jdk1.8.0_212/bin/jps
done
  1. 赋予脚本可执行权限
sudo chmod u+x myjps.sh

同步文件脚本 xsync

同步命令 xsync [文件名]

#!/bin/bash

#1. 判断参数个数，小于1个，报错
if [ $# -lt 1 ];then # $#：表示获取输入参数的个数
	echo Not Enough Arguement!
	exit;
fi
#2. 遍历集群所有机器
for ((i=102; i<=104; i=$i+1))
do	
	echo "*********************** hadoop$i ***********************"
	#3. 遍历所有目录，挨个发送
	for file in $@
	do
		 #4 判断文件是否存在
		if [ -e $file ];then
			#5. 获取父目录
			pdir=$(cd -P $(dirname $file);pwd)
			#6. 获取当前文件的名称
			fname=$(basename $file)
			ssh hadoop$i "mkdir -p $pdir" # 加-p：若目录已经存在，忽略
			rsync -av $pdir/$fname hadoop$i:$pdir
		else
			echo $file does not exists!
		fi
	done
done

如果要同步的文件[my_env.sh]具有root权限，需要跟上脚本的全路径

sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

个别参数解释：

1）
在这里插入图片描述
2）
在这里插入图片描述

3）
在这里插入图片描述

hadoop启停脚本 hdp.sh

脚本用法：

启动命令 hdp.sh start
关闭命令 hdp.sh stop

#!/bin/bash

case $1 in
"start")
	echo "---------------------- 启动hdfs -------------------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
	echo "---------------------- 启动yarn -------------------------"
	ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
	echo "---------------------- 启动历史服务器 -------------------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/mr-jobhistory-daemon.sh start historyserver"
;;
"stop")
	echo "---------------------- 关闭历史服务器 -------------------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/mr-jobhistory-daemon.sh stop historyserver"
	echo "---------------------- 关闭yarn -------------------------"
	ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
	echo "---------------------- 关闭hdfs -------------------------"
	ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
	echo error!
;;
esac

xcall.sh 命令

脚本用法

xcall.sh jps

#!/bin/bash
parm=$*

for(( i=102;i<=104;i=$i+1 ))
do
        echo "------------ hadoop$i -------------"
        ssh hadoop$i "$parm"

done

zk启停脚本 zk.sh

启动命令 zk.sh start

关闭命令 zk.sh stop

#!/bin/bash
case $1 in
"start")
	for ((i=102;i<=104;i=$i+1))
	do
		echo "----------------------- 启动hadoop$i 的zk ---------------------------"
		ssh hadoop$i "/opt/module/zookeeper/bin/zkServer.sh start"
	done	
;;

"stop")
	for ((i=102;i<=104;i=$i+1))
	do
		echo "----------------------- 关闭hadoop$i 的zk ---------------------------"
		ssh hadoop$i "/opt/module/zookeeper/bin/zkServer.sh stop"
	done
;;
"status")
	for ((i=102;i<=104;i=$i+1))
	do
		echo "----------------------- zk status ---------------------------"
		ssh hadoop$i "/opt/module/zookeeper/bin/zkServer.sh status"
	done
;;
*)
	echo error!
;;
esac

flume 启停脚本 f1.sh-消费

#! /bin/bash

case $1 in
"start"){
        for i in hadoop102 hadoop103
        do
                echo " --------启动 $i 采集flume -------"
                ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/file-flume-kafka.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/module/flume/log1.txt 2>&1  &"
        done
};;	
"stop"){
        for i in hadoop102 hadoop103
        do
                echo " --------停止 $i 采集flume -------"
                ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk  '{print \$2}' | xargs -n1 kill -9 "
        done

};;
esac

说明：

  1. $2是在“”双引号内部会被解析为脚本的第二个参数，但是这里面想表达的含义是awk的第二个值，所以需要将他转义，用$2表示。
  1. nohup参数解释
  2. linux 将某个框架的打印信息输出到指定路径的文件中

flume 启停脚本 f2.sh-生产

#! /bin/bash

case $1 in
"start"){
        for i in hadoop104
        do
                echo " --------启动 $i 消费flume-------"
                ssh $i "nohup /opt/module/flume/bin/flume-ng agent --conf-file /opt/module/flume/conf/kafka-flume-hdfs.conf --name a1 -Dflume.root.logger=INFO,LOGFILE >/opt/module/flume/log2.txt   2>&1 &"
        done
};;
"stop"){
        for i in hadoop104
        do
                echo " --------停止 $i 消费flume-------"
                ssh $i "ps -ef | grep kafka-flume-hdfs | grep -v grep |awk '{print \$2}' | xargs -n1 kill"
        done

};;
esac

kakfa启停脚本 kf.sh

启动命令 kf.sh start
关闭命令 kf.sh stop

#! /bin/bash

case $1 in
"start"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------启动 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
    done
};;
"stop"){
    for i in hadoop102 hadoop103 hadoop104
    do
        echo " --------停止 $i Kafka-------"
        ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
    done
};;
esac

superset 启停脚本 状态查看

在这里插入图片描述

#! /bin/bash
superset_status(){
	result=`ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | wc -l`
	if [[ $result -eq 0 ]]; then
		return 0
	else
		return 1
	fi
}
superset_start(){
	# 该段内容取自~/.bashrc，所用是进行 conda 初始化
	# >>> conda initialize >>>
	# !! Contents within this block are managed by 'condainit' !!
	__conda_setup="$('/opt/module/miniconda3/bin/conda' 'shell.bash' 'hook' 2> /dev/null)"
	if [ $? -eq 0 ]; then
		eval "$__conda_setup"
	else
		if [ -f "/opt/module/miniconda3/etc/profile.d/conda.sh" ]; then
			. "/opt/module/miniconda3/etc/profile.d/conda.sh"
		else
			export PATH="/opt/module/miniconda3/bin:$PATH"
		fi
	fi
	unset __conda_setup
	# <<< conda initialize <<<
	superset_status >/dev/null 2>&1
	if [[ $? -eq 0 ]]; then
		conda activate superset ; gunicorn --workers 5 --timeout 120 --bind hadoop201:8787 --daemon 'superset.app:create_app()'
	else
		echo "superset 正在运行"
	fi
}
superset_stop(){
	superset_status >/dev/null 2>&1
	if [[ $? -eq 0 ]]; then
		echo "superset 未在运行"
	else
		ps -ef | awk '/gunicorn/ && !/awk/{print $2}' | xargs kill -9
	fi
}

case $1 in
	start )
		echo "启动 Superset"
		superset_start
;;
stop )
		echo "停止 Superset"
		superset_stop
;;
restart )
		echo "重启 Superset"
		superset_stop
		superset_start
;;
status )
	superset_status >/dev/null 2>&1
	if [[ $? -eq 0 ]]; then
		echo "superset 未在运行"
	else
		echo "superset 正在运行"
	fi
esac

总控

#!/bin/bash

case $1 in
"start"){
        echo "------------------------ 启动集群 ------------------------"
        echo "****** 启动zk ******"
        zk.sh start
        echo "****** 启动hadoop ******"
        hdp.sh start
        echo "****** 启动kafka ******"
        kk.sh start
        echo "****** 启动生产flume ******"
        f1.sh start
        echo "****** 启动消费flume ******"
        f2.sh start
};;
"stop"){
        echo "------------------------ 启动集群 ------------------------"
        echo "****** 关闭消费flume ******"
        f2.sh stop
        echo "****** 关闭生产flume ******"
        f1.sh stop
        echo "****** 关闭kafka ******"
        kk.sh stop
        echo "****** 关闭hadoop ******"
        hdp.sh stop
        echo "****** 关闭zk ******"
        zk.sh stop
};;
*){
        echo error
}
;;
esac
塞上江南o
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
大数据常用脚本--zookeeper、flume、Kafka、hive、xsync、kylin
阿年的博客
01-12 417
大数据常用脚本--zookeeper、flume、Kafka、hive、xsync、kylin
服务器日志分析shell脚本
谢谢你,慌乱了我的年华
04-15 595
# 查看有多少个IP访问 awk '{print $1}' access.log |sort|uniq|wc -l # 查看某一个页面被访问的次数 grep "/index.php" access.log | wc -l # 查看每一个IP访问了多少个页面 awk '{++S[$1]} END {for (a in S) print a,S[a]}' log_file > log.txt sort -n -t ' ' -k 2 log.txt # 配合sort进一步排序 # 将每个IP.
ZK 集群启动停止脚本
Hello World
10-23 1167
ZK 集群启动停止脚本编写 之所以想写一个启动脚本，是因为假如我们集群中有一百台zk，那么每次停止都要跑到每台zk的bin目录下执行stop命令，很是麻烦。 编写 1.在某台安装了zk的服务器的某个目录下创建一个zk.sh执行脚本 2. 执行vim zk.sh #!/bin/bash case $1 in "start"){ for i in 192.168.80.18 192.168.80.19 192.168.80.20 do echo ---------- zookeeper $i 启动 -----
Hadoop巡检脚本
最新发布
Auspicious航的博客
08-02 1166
变量为你的Hadoop连接信息和输出文件路径。运行脚本后，将会生成一个巡检报告文件，其中包含了Hadoop版本、HDFS健康状态、集群节点信息、YARN应用程序信息和YARN节点信息等。同样，这只是一个基本的示例脚本，你可以根据具体需求进行扩展和定制，添加更多的巡检项和检查规则。
Hadoop集群部署(附集群启停脚本)
zhaozhufeng的博客
12-08 2325
集群部署规划(Hadoop3.1.3)
大数据常用脚本.rar
05-12
"大数据常用脚本.rar"这个压缩包很可能包含了多种用于大数据操作的脚本示例，可能包括Python、Shell、Pig Latin、HiveQL等。下面将详细讨论这些脚本语言在大数据处理中的应用和重要知识点。 1. Python：Python是...
集群常用脚本及相关组件配置文件
11-21
"集群常用脚本及相关组件配置文件"这个主题涵盖了多个用于管理Hadoop集群的实用脚本和配置文件，这对于理解集群的工作原理以及如何高效地操作它们非常有帮助。以下是这些文件及其代表的知识点的详细解释： 1. **...
hadoop常用脚本
08-15
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。...总结了工作中常用的linux、hadoop等脚本，
大数据常用数据库汇总.pdf
12-24
⼤数据时代初期，随着数据请求并发量⼤不断增⼤，⼀般都是采⽤的集群同步数据的⽅式处理，就是将数据库分成了很多的⼩库，每个数据 库的数据内容是不变的，都是保存了源数据库的数据副本，通过同步或者异步⽅式保证...
大数据开发工程师简历模板
03-31
HBase：了解 HBase 数据模型和架构，能够部署 HBase 集群，掌握 hbase shell 常用命令；能设 HBase 表结构，实现存储和查询，有 HBase 优化经验。 HDFS：掌握 hdfs 存储模型、架构模型、持久化、安全机制等。能搭建...
数据文件批量处理脚本汇总
Duoteng Xu
07-20 1816
前言一、基础脚本1、获取某一文件夹下所有的文件名 前言   做深度学习相关工作的同学经常需要处理一些数据，笔者将会在本篇博客持续更新汇总一些模型训练数据经常用到的批量处理脚本，文中大多脚本都参考了网络现有资源加以改进实现，我会在文章中介绍脚本作用以及需要修改的地方。 一、基础脚本   后续的很多脚本都会基于基础脚本集成实现。 1、获取某一文件夹下所有的文件名 import os # 获取文件夹file_dir下指定类型file_type的所有文件名 # file_dir = 'D:\CNKI E-S.
zk启动关闭sh脚本
qq_36669347的博客
09-01 392
1) 在 hadoop102 的/home/wjj/bin 目录下创建脚本 [wjj@hadoop102 bin]$ vim zk.sh 在脚本中编写如下内容: #!/bin/bash case $1 in "start"){ for i in hadoop102 hadoop103 hadoop104 do echo ---------- zookeeper $i 启动 ------------ ssh $i "/opt/module/zookeepe...
大数据项目实战数仓4——常用脚本
yingzi的技术博客
02-22 464
文章目录0、xsync：分发脚本1、xcall.sh：查看相关进程2、hdp.sh：hadoop集群群起3、zk.sh：zookeeper集群群起4、kf.sh：kafka集群群起5、file-flume-kafka.conf：文件通过flume输送到kafka配置6、f1.sh：日志采集Flume启动7、kafka-flume-hdfs.conf：消费者Fllume配置8、f2.sh：消费者Flumecluster.sh：采集通道 0、xsync：分发脚本 #!/bin/bash #1. 判断参数个数 i
大数据量生成脚本及导入策略
oh_Maxy的专栏
09-17 3899
性能测试过程中，如果需要构造一张表大数据量基础数据时，有两点需要注意：如何生成unl文件（此文件是后缀为.unl的数据文件，格式为，按表列分割的数据记录，例如：10001|33333|），生成的unl文件是否可以一次性导入到数据库相应表中。 为了方便叙述，假设数据库存在表test(id integer,name integer,primary key(id,name))。若想为此表导入100
大数据采集与分析（数据采集）
w18131123697的博客
12-06 801
1、自动创建hive表 #!/bin/bash beg_date=`date -d "${1}" +%s` end_date=`date -d "${2}" +%s` if((beg_date >${end_date}));then echo "beg_date < end_date" exit 0; fi currentDate="" for((i=${beg_date};i<=${end_date};i=i+86400)) do currentDate=`date...
大数据常用脚本（持续更新）
FreedomZzzzz的博客
10-24 965
1.zkmanager启动脚本 ./zkmanager.sh #! /bin/bash for host in hdp-1 hdp-2 hdp-3 do echo "${host}:${1}ing...." ssh $host "source /etc/profile;/root/apps/zookeeper-3.4.6/bin/zkServer.sh $1" done sleep 2 ...
分布式服务管理框架-Zookeeper客户端zkCli.sh使用详解
热门推荐
技术改变生活
11-13 2万+
.原文链接：http://blog.csdn.net/xyang81/article/details/53053642在学习zookeeper（下面简称zk）客户端之前，有必要先了解一下zk的数据模型。zk维护着一个逻辑上的树形层次结构，树中的节点称为znode，和Linux系统的文件系统结构非常相似，如下图所示： 这种数据结构有如下特点： 1> 每个znode都有唯一路径标识，最顶层的zn
工程实践III（大数据应用开发实践）大作业模板 - 副本.docx
06-25
首先，需要编写一个集群分发脚本xsync，用于将配置文件等信息分发到集群中。然后，进行集群部署规划，确定各个节点的角色和任务分配。 表1.1中展示了集群中三个节点的角色分配，包括HDFS（分布式文件系统）的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值