第七课 Shell脚本编程-大型脚本工具开发实战

最新推荐文章于 2024-05-20 10:51:11 发布
最新推荐文章于 2024-05-20 10:51:11 发布
阅读量437 收藏 1
点赞数
文章标签： Shell脚本 进程管理 Supervisor 函数实现 主流程设计
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa18855953229/article/details/127380188
版权

第七课 Shell脚本编程-大型脚本工具开发实战

文章目录

第一节 需求描述

  1. Supervisor是用Python开发的一套通用的进程管理程序，能将一个普通的命令行进程变为后台daemon，并监控进程状态，异常退出时能自动重启。它是通过fork/exec的方式把这些被管理的进程当作supervisor的子进程来启动，这样只要在supervisor的配置文件中，把要管理的进程的可执行文件的路径写进去即可。也实现当子进程挂掉的时候，父进程可以准确获取子进程挂掉的信息的，可以选择是否自己启动和报警。supervisor还提供了一个功能，可以为supervisord或者每个子进程，设置一个非root的user，这个user就可以管理它对应的进程。
  2. 需求描述
    • 实现一个脚本工具，该脚本提供类似supervisor功能，可以对进程进行管理；
    • 一键查看所有进程运行状态
    • 单个或批量启动进程，单个或批量停止进程
    • 提供进程分组功能，可以按组查看进行运行状态，可以按组启动或停止该组内所有进程
  3. 主要功能函数列表：
function get_all_process # 返回进程名称列表字符串
function get_all_group # 返回进程组列表字符串
# 返回进程详细信息列表字符串，详细信息包括：运行状态、PID、CPU、MEM、启动时间 注：该函数可以接收一个参数，参数为进程名称
function get_process_info 
# 返回进程组内的所有进程名称列表字符串 例子：DB组–>“mysql postgresgql oracle”
function get_all_process_by_group

第二节 脚本的特殊参数

  1. 在linux系统中有很多的特殊符号，他们具有特殊的意义
    • $# 是传给脚本的参数个数
    • $0 是脚本本身的名字
    • $1 是传递给该shell的第一个参数
    • $2 是传递给该shell的第二个参数
    • $@ 是传递给脚本的所有参数的列表
    • $ 是以一个单字符串显示所有向脚本传递的参数，与位置变量不同，参数可超过9个*
    • $$ 是脚本运行的当前进程ID号
    • $？是显示最后命令退出的状态，0表示没有错误，其他表示有错误
#!/bin/bash
echo "param num:$#"
echo "sh name is :$0"
echo "The first param is :$1"
echo "The second param is :$2"
echo "The all param list is :$@"
echo "The all param str is :$*"
echo "The PID is:$$"
echo "The precomm stat is:$?"

第三节 功能函数的实现

# process.cfg
[GROUP_LIST]
WEB
DB
HADOOP
YARN

[WEB]
nginx
httpd

[DB]
mysql
postgresql
oracle

[HADOOP]
datanode
namenode
journalnode

[YARN]
resourcemanager
nodemanager

[nginx]
description="Web Server 1"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/web-nginx.conf

[httpd]
description="Web Server 2"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/web-httpd.conf

[mysql]
description="High Performance DataBase"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/mysql.conf 

[postgresql]
description="PG Server"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/postgresql.conf

[oracle]
description="The Best DB Server In The World"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/oracle.conf

[datanode]
description="NODE: Storage Data For HDFS"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/hdfs-datanode.xml

[namenode]
description="NODE: Storage MetaData For HDFS"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/hdfs-namenode.xml

[journalnode]
description="Data synchronization For NameNode"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/hdfs-journalnode.xml

[resourcemanager]
description="Resource allocation, task scheduling"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/yarn-resourcemanager.xml

[nodemanager]
description="Compute nodes to perform tasks assigned by RM"
program_name=tail
parameter=-f /root/lesson/9.1/tmp/yarn-nodemanager.xml
  1. function get_all_group说明：该函数无需输入任何参数；返回配置文件 process.cfg中所有的组信息，例如WEB、DB等。
function  get_all_group
{
	if [ ! -e $HOME_DIR/$CONFIG_FILE ];then
		echo "CONFIG_FILE is not exist .. PLease CHeck.."
		EXIT 1
	else
		G_LIST=$(sed -n '/\[GROUP_LIST\]/,/\[.*\]/p' process.cfg | egrep -v "(^$|\[.*\])")
		echo "$G_LIST"
	fi
}

# 测试一下
# groups=`get_all_group`
# echo $groups
# for g in `get_all_group`
# do 
#   echo $g
# done
  1. function get_all_process: 说明：该函数无需输入任何参数；返回配置文件 process.cfg中所有的进程信息。
function get_all_process
{
	for g in `get_all_group`
	do 
		P_LIST=`sed -n "/\[$g\]/,/\[.*\]/p" process.cfg | egrep -v '^$|\[.*\]'`
		echo $P_LIST
	done
}
  1. function get_process_info
    • function get_process_pid_by_name说明：该函数接收一个参数，参数为进程名称；返回值是一个PID的列表，可能有一个PID，也可能有多个
    • function get_process_info_by_pid说明：该函数接收一个参数，参数为进程PID；返回值是一个进程运行信息的列表，列表包含运行状态、CPU占用率、内存占用率、进程启动时间
    • $@:表示所有脚本参数的内容 $#:表示返回所有脚本参数的个数。
function get_process_pid_by_name 
{
	if [ $# -ne 1 ];then
		return 1
	else 
		pids=`ps -ef | grep $1 | grep -v grep | grep -v $0| awk '{print $2}'`
		echo $pids
	fi
}

function get_process_info_by_pid
{
	if [ `ps -ef | awk -v pid=$1 '$2==pid{print}' | wc -l` -eq 1 ] ;then
		pro_status="RUNNING"
	else
		pro_status="STOPED"
	fi
	pro_cpu=`ps aux | awk -v pid=$1 '$2==pid{print $3}'`
	pro_mem=`ps aux | awk -v pid=$1 '$2==pid{print $4}'`
	pro_start_time=`ps -p $1 -o lstart | grep -v STARTED`
}
  1. function is_group_in_config说明：该函数接收一个参数，参数为组的名称；返回值是0或1,0代表该组在配置文件中，1代表该组不在配置文件中
function is_group_in_config
{
	for gn in `get_all_group`;do
		if [ $gn = $1 ];then
			return
		fi
	done
	echo "Group $1 is not in process.cfg"
	return 1
}
  1. function get_all_process_by_group说明：该函数接收一个参数，参数为组名称；返回值是对应组内的所有进程名称列表
function is_group_in_config
{
	for gn in `get_all_group`;do
		if [ $gn = $1 ];then
			return
		fi
	done
	return 1

}

function get_all_process_by_group
{
	is_group_in_config $1

	if [ $? -eq 0 ];then
		p_list=`sed -n "/\[$1\]/,/\[.*\]/p" process.cfg | egrep -v "(^$|\[.*\])"`
		echo $p_list
	else
		echo "GroupName $1 is not in process.cfg"
	fi
		
}
  1. function get_group_by_process_name说明：该函数接收一个参数，参数是一个进程名称；返回值是一个组名

function get_group_by_process_name
{
	for gn in `get_all_group`;do
		for pn in `get_all_process_by_group $gn`;do
			if [ $pn == $1 ];then
				echo "$gn"
			fi 
		done	
	done
}
  1. function format_print说明：该函数接收二个参数，第一个参数为process_name，第二个参数为组名称返回值，是针对每一个进程PID的运行信息
function format_print	 
{
	ps -ef | grep $1 | grep -v grep | grep -v $this_pid &> /dev/null
	if [ $? -eq 0 ];then
		pids=`get_process_pid_by_name $1`
		for id in $pids;do
			get_process_info_by_pid $id
			awk -v p_name=$1 \
					-v g_name=$2 \
					-v p_status=$pro_status \
					-v p_cpu=$pro_cpu \
					-v p_mem=$pro_mem \
					-v p_start_time=$pro_start_time 
					'BEGIN{printf "%-10s%-10s%-5s%-5s%-5s%-5s%-15s\n",p_name,g_name,p_status,p_cpu,p_mem,p_start_time}'
		done
	else
		awk -v p_name=$1  -v g_name=$2 'BEGIN{printf "%-10s%-10s%-5s%-5s%-5s%-5s%-15s\n",p_name,g_name,"NULL","NULL","NULL","NULL","NULL"}'
	fi	
			
}
  1. function is_process_in_config说明：该函数接收一个参数，参数为进程名称；返回值是0或1,0代表该进程在配置文件中，1代表进程不在配置文件中
function is_process_in_config
{
	for pn in `get_all_process`;do
		if [ $pn = $1 ];then
			return
		fi
	done
	echo "Process $1 is not in process.cfg"
	return 1	
}

第四节 程序主流程设计及代码实现

  1. ./app_status.sh 执行有三种情况：
    • 无参数 列出配置文件中所有进程的运行信息
    • -g GroupName 列出GroupName组内的所有进程
    • process_name 列出指定进程的运行信息
  2. shift命令每执行一次，变量的个数($#)减一（之前的$1变量被销毁,之后的$2就变成了$1），而变量值提前一位。
if [ ! -e $HOME_DIR/$CONFIG_FILE ];then
	echo "CONFIG_FILE is not exist .. PLease CHeck.."
	exit 1
fi


awk 'BEGIN{printf "%-16s%-10s%-10s%-10s%-10s%-10s%-20s\n","ProcessName---","GroupNmae---","Status---","Pid----","Cpu-----","Memory---","StartTime---"}'


if [ $# -gt 0 ];then
	if [ "$1" == "-g" ];then
		shift # 把-g移走
		for gn in $@;do
			is_group_in_config $gn || continue
			for pn in `get_all_process_by_group $gn`;do
				is_process_in_config $pn && format_print $pn $gn
			done
		done
	else
		for pn in $@;do
			gn=`get_group_by_process_name $pn`
			is_process_in_config $pn && format_print $pn $gn
		done
	fi
else
	for pn in `get_all_process`;do
		gn=`get_group_by_process_name $pn`
		is_process_in_config $pn && format_print $pn $gn
	done
fi
道教儒佛电磁波
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
shell脚本基础和shell工具
weixin_52091751的博客
02-26 875
shell脚本
shell脚本常见开发工具
qq_50408340的博客
04-22 7671
sort sort将文件的每一行作为一个单位，相互比较，比较原则是从首字符向后，依次按ASCII码值进行比较，最后将他们按升序输出。 [root@iZ8vbhcpwdmnwpx91dy1h8Z ~]# cat file u t x y u t u t u x [root@iZ8vbhcpwdmnwpx91dy1h8Z ~]# sort file t t t u u u u x x y 常用选项 sort默认为按照ASCII码升序排列，如果想改变排序方式直接加个-r就按照降序排序 [root@iZ8vb
shell 脚本工具（三剑客）
Ricardo的博客
09-09 968
awk grep sed
Shell脚本开发实战--工具篇
热门推荐
GulfMoon
08-13 1万+
一、产生背景 企业应用开发中，我们会经常和Linux服务器打交道，比如：Linux提交spark作业，查看作业日志，准备基础数据，调试与自测等；如果每次测试都重复那些操作就显得很业余了，我们想到的肯定是通过写Shell脚本来实现自动处理。但是，在需要对shell脚本进行调试或者修改大量参数时，直接在Linux上使用“vi”命令修改的话，效率会很低。这篇文章的目的就是教大家如何通过一系列操作来提高...
shell脚本工具
weixin_60917414的博客
05-11 1922
字符集1：指定要转换或删除的原字符集。当执行转换操作时，必须使用参数"字符集2"制定转化的目标字符集。但执行删除操作时，不需要参数字符2。-c：保留字符集1 的字符，其他的字符（包括换行符 \n）用 字符集2 替换。–output-delimiter | 更改输出内容的分隔符。–complement | 此选项用于排除所指定的字段。语法格式：sort 【选项】 参数。语法格式：uniq 【选项】 参数。字符集2：指定要转换成的目标字符集。-d：删除所有属于字符集1的字符。
7 Shell脚本编程进阶
tingyalove的专栏
02-24 253
1 编写脚本实现传入进程pid，查看对应进程/proc下的CPU、内存指标。 2 编写脚本实现每分钟检查一个主机端口是否存活（使用nmap），如果检查到端口不在线，sleep 10s, 如果三次都不存在，记录到日志。 3 编写脚本/root/bin/execute.sh, 判断参数文件是否为sh后缀的普通文件，如果是，添加所有人可执行权限，否则提示用户非脚本文件。 ...
Linux Shell脚本自动化编程实战.zip
05-14
第7章__函数传参及返回 第8章__Shell内置命令 第9章__RE正则表达式 第10章__Sed流编辑器 第11章__awk文本处理工具实战 第12章__项目实战之 系统性能分析 第13章__项目实战之 主机存活状态 第14章__项目实战之 Nginx...
Shell高级编程实战视频.zip
06-16
3-Shell脚本介绍及第一个规范Shell脚本说明 4-Shell编程的作用和地位 5-Shell语言的种类介绍 6-Shell的条件表达式知识初步介绍实践 7-Shell的字符串表达式介绍-实践及企业案例脚本剖析 8-Shell的整数表达式介绍-实践...
Linux运维- Shell脚本自动化编程实战-第08章Shell内置命令（2集）.zip
05-28
在Linux系统中，Shell脚本是自动化运维的重要工具，它允许我们编写一系列命令来执行复杂的任务，节省时间和提高效率。本章重点讲解的是Shell的内置命令，这些命令直接由Shell解释器执行，无需调用外部程序，从而提高...
shell脚本编程100例
05-28
在IT领域，Linux Shell脚本编程是系统管理员和开发者日常工作中不可或缺的一部分。它是一种命令行接口，用于自动化任务，执行批处理操作，并提供强大的交互式环境。"Shell脚本编程100例"是一个非常宝贵的资源，适合...
shellman-ebook:Shellman vscode片段的Shell脚本指南
05-01
- **第7章**：高级Shell编程技巧和实践。 - **第8章**：错误处理和调试。 - **第9章**：脚本安全性和最佳实践。 - **第10章**：案例研究和实战项目。 通过Shellman-ebook，无论是初学者还是有经验的Shell开发者，都...
shell编程--八大文件处理工具
weixin_46362974的博客
05-04 879
通过shell脚本来完成一些复杂工作：数据服务的搭建、批量处理①shell基本的语法结构如变量、条件判断、循环语句、分支语句、函数、数组等②基本正则表达式的应用③文件处理三剑客：grep,sed,awk④通过shell脚本来处理比较复杂的任务：服务的搭建、批量处理。
Linux Shell神器：解决你不会写脚本的烦恼
LinkSLA的博客
02-19 475
总的来说，ShellCheck 是一个强大的工具，可以帮助你提高 Shell 脚本的质量、可读性和安全性，是 Shell 脚本开发过程中的有用辅助工具。最佳实践：ShellCheck 提供了最佳实践的建议，帮助用户编写更加清晰、可读性更高的 Shell 脚本，避免常见的陷阱和错误。错误检测：ShellCheck 可以识别和报告脚本中的各种错误，包括语法错误、拼写错误、变量使用错误、命令调用错误等。语法检查：ShellCheck 可以检查 Shell 脚本的语法，确保脚本中的命令、语法结构和语法规则正确。
【Linux】Shell 脚本实战：一线工作必备的18个高效工具
A1_3_9_7的博客
02-17 2016
假设服务器环境为 lnmp，近期访问经常出现 502 现象，且 502 错误在重启 php-fpm 服务后消失，因此需要编写监控脚本，一旦出现 502，则自动重启 php-fpm 服务。Expect是一个自动交互式应用程序的工具，如telnet，ftp，passwd等。加个死循环，如果IP可用就退出，不可用提示继续输入，并使用awk判断。应用场景：希望将执行结果或者位置参数赋值给变量，以便后续使用。方法1：EOF标准输出作为expect标准输入。方法1：根据访问日志（Nginx为例）
ShellCheck 实战：提升 Shell 脚本质量的利器
TechEnthusiast的博客
03-22 112
在日常的系统管理和软件开发中，Shell 脚本是一种常见的工具，用于自动化任务、部署应用程序等。ShellCheck 是一个用于静态分析 Shell 脚本的工具，它能够检测出脚本中的语法错误、潜在的问题和最佳实践违规，并提供相应的建议和修复方法。通过 ShellCheck 工具，我们可以轻松地提升 Shell 脚本的质量，避免常见的错误和问题，增强脚本的稳定性和可维护性。通过本文，读者可以了解如何使用 ShellCheck 工具来提升 Shell 脚本的质量，并且能够从中受益，改进自己的脚本编写技巧。
一个提升你 Shell 脚本编写质量的工具，建议大家人手必备的神器！
最新发布
民工哥的博客
05-20 87
戳下方名片，关注并星标！回复“1024”获取2TB学习资源！????体系化学习：运维工程师打怪升级进阶之路 4.0— 特色专栏—MySQL/PostgreSQL/MongoDBElasticSearch/Hadoop/RedisKubernetes/Docker/DevOpsKafka/RabbitMQ/Zookeeper监控平台/应用与服务/集群管理N...
linux shell脚本开发工具,技术|10个工具让你的 shell 脚本更强大
weixin_42515045的博客
05-01 4796
很多人误以为shell脚本只能在命令行下使用。其实shell也可以调用一些GUI组件，例如菜单，警告框，进度条等等。你可以控制最终的输出，光标位置还有各种输出效果。下面我将介绍一些工具，帮助你创建强大的，互动的，用户友好的 Unix/Linux shell脚本。我在FreeBSD和Linux下测试过这些工具，不过其他UNIX系列的操作系统应该都支持的。1. notify-send 命令这个命令可以...
shell编程
weixin_52115456的博客
06-13 1476
Shell俗称壳（用来区别于核），是指“为使用者提供操作界面”的软件（command interpreter，命令解析器）。它类似于DOS下的COMMAND.COM和后来的cmd.exe。它接收用户命令，然后调用相应的应用程序。
推荐一款 Shell 神器，已开源
AcceptedLin的博客
07-05 768
今天我要给大家介绍一个生产力工具 (装逼神器) Shell，它叫 Nushell，它是用 Rust 写的，安全性提高的同时，Bug 率也降低了，NuShell 专注于实现以下目标： 目前，NuShell 已经在 Github 上标星 13.9K，累计分支 631（详情：https://github.com/nushell/nushell）在 Linux /macOS 系统上运行 NuShell 的最简单快捷的方法是从 crates.io 安装 ，或从我们的 Github 发布页面下载预构建的二进制文件 。对
Shell脚本编程实战指南
"Shell Scripting.pdf 是一本关于Linux系统中Shell脚本编程的电子书，可以从Google Books下载。这本书深入浅出地介绍了Shell脚本的编写和应用，适合对Linux和Unix感兴趣的读者阅读。" 本书分为三个部分，涵盖了一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值