用shell bash自动化程序

最新推荐文章于 2022-05-08 13:53:45 发布
最新推荐文章于 2022-05-08 13:53:45 发布
阅读量1k 收藏 1
点赞数
分类专栏： Linux 文章标签： shell 自动化 脚本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tvxq_xy/article/details/53147837
版权

一、任务描述

这回要做这么件事儿：

  1. 自动化修改文件名
  2. 自动化修改配置文件
  3. 自动化生成cluster_files并拼接
  4. 自动化生成query_time.dat
  5. 自动化画图

下面对每一步分别说明。

二、任务实现

1、自动化修改文件名
要修改生成不同时段的cluster_file的文件夹名称，如下图所示，时段区间都在文件夹名称上表示着

图1 文件夹换名

于是，编写脚本如下：

#!/bin/bash

old_sta=100
old_first_end=119
new_sta=200
new_first_end=219

for k in $(seq 0 4)
    do
        let cur_old_sta=${old_sta}+k*20
        let cur_old_end=${old_first_end}+k*20
        let cur_new_sta=${new_sta}+k*20
        let cur_new_end=${new_first_end}+k*20

        old_folder="src-${cur_old_sta}-${cur_old_end}"
        new_folder="src-${cur_new_sta}-${cur_new_end}"

        cd "/home/xuying/java_codes/localHBUpdating/"

        mv ${old_folder} ${new_folder}
    done

echo "Step 1 -- Modify Folders' names -- finished SUCESSFULLY!"
行1：#!/bin/bash 是编写脚本文件的必加头儿 行8：seq a b 用来生成从a到b的所有整数 行10~13：用 let 做数值计算时，运算量与运算符之间千万别有空格 行15~16：字符串的拼接方式 若该脚本文件名为1_mod_folder_name，则可通过以下两条命令让其执行。chmod +x 是将文件属性变成可执行的： > root@bmc~: chmod +x 1_mod_folder_name > root@bmc~: ./1_mod_folder_name 2、自动化修改配置文件 修改完文件夹名称后，分别进入这些文件夹，修改配置文件。由于这些文件夹的内容仅在于配置文件的参数值不同，故可统一修改：

图2 修改配置文件

脚本如下：

#!/bin/bash

old_sta=100
old_first_end=119
new_sta=200
new_first_end=219

for k in $(seq 0 4)
    do
        let cur_old_sta=${old_sta}+k*20
        let cur_old_end=${old_first_end}+k*20
        let cur_sta=${new_sta}+k*20
        let cur_end=${new_first_end}+k*20

        src_folder="src-${cur_sta}-${cur_end}"
        file_loc="/home/xuying/java_codes/localHBUpdating/${src_folder}/utility"
        echo ${file_loc}
        cd ${file_loc}

        sed -i "s/${cur_old_sta}/${cur_sta}/g" Configuration.java
        sed -i "s/${cur_old_end}/${cur_end}/g" Configuration.java

    done

echo "Step 2 -- Modify Config in CltFileGen -- finished SUCESSFULLY!"
其中，sed 命令用来替换文件中的字符串，“/g”选项表示将找到的字符串**全部替换**。 同样，若该脚本文件名为2_mod_cltgen_config，这样可执行： > root@bmc~: chmod +x 2_mod_cltgen_config > root@bmc~: ./2_mod_cltgen_config 3、自动化生成 cluster_files 并拼接 上述5个文件夹的代码，分别令其自动化 run 起来，生成不同时段的 cluster_files 后，拼接成一个最终文件：

图3 生成文件并拼接

脚本如下：

#!/bin/bash

new_sta=200
new_firt_end=219

let joint_sta=${new_sta}
let joint_end=${new_first_end}+80

joint_file_name="cluster_file_${joint_sta}-${joint_end}.txt"
echo ${joint_file_name}

for k in $(seq 1 4)
    do
        let lastk=k-1
        let sta_1=${new_sta}+${lastk}*20
        let end_1=${new_firt_end}+${lastk}*20
        let sta_2=${new_sta}+k*20
        let end_2=${new_firt_end}+k*20

        file_name_1="cluster_file_${sta_1}-${end_1}.txt"
        file_name_2="cluster_file_${sta_2}-${end_2}.txt"
        last_joint_name="${lastk}.txt"
        tmp_joint_name="${k}.txt"

        file_loc="/home/xuying/java_codes/localHBUpdating"
        cd ${file_loc}

        if [[ ${k} == "1" ]] ; 
        then
            cat ${file_name_1} ${file_name_2} > ${tmp_joint_name}
        else
            cat ${last_joint_name} ${file_name_2} > ${tmp_joint_name}
            rm ${last_joint_name}
        fi

        if [[ ${k} == "4" ]] ; 
        then
            dst_loc="/home/xuying/java_codes/GCMP-Query/data"
            cp ${tmp_joint_name} "${dst_loc}/${joint_file_name}"
        fi
    done

echo "Step 3 -- Generate Cluster Files and Joint Them -- finished SUCESSFULLY!"
注意，在使用 if 语句时，条件可以用“[]”或“()”表示，但是一定要注意空格。感谢http://superuser.com/questions/688882/how-to-test-if-a-variable-is-equal-to-a-number-in-shell，让我终于折腾对了 if 的用法…… 同样，若该脚本文件名为3_gen_cluter_files，这样可执行： > root@bmc~: chmod +x 3_gen_cluter_files > root@bmc~: ./3_gen_cluter_files 4、自动化运行GCMP-Query 将刚才拼接好的 cluster_file_xxx.txt 作为输入，运行 GCMP-Query 程序，得到 query_time.dat 文件：

图4 GCMP Query

脚本如下：

#!/bin/bash

old_end=99
old_length=100
new_end=199
new_length=200

file_loc="/home/xuying/java_codes/GCMP-Query/src/util"
cd ${file_loc}

sed -i "s/${old_end}/${new_end}/g" Configuration.java
sed -i "s/${old_length}/${new_length}/g" Configuration.java

run_loc="/home/xuying/java_codes/GCMP-Query/src"
cd ${run_loc}

javac main/Demo.java
echo "Compile successfully!"
java main.Demo
同样，若该脚本文件名为4_run_gcmp_query，这样可执行： > root@bmc~: chmod +x 4_run_gcmp_query > root@bmc~: ./4_run_gcmp_query 5、自动画结果图 生成 query-time.dat 后，执行 draw.plt （已为执行文件），生成最终的结果文件 result.pdf：

图5 画图

脚本如下：

#!/bin/bash

old_length=100
new_length=200

draw_loc="/home/xuying/java_codes/GCMP-Query/gnuplot_draw"
cd ${draw_loc}

sed -i "s/${old_length}/${new_length}/g" draw.plt

./draw.plt

echo "Step 4 -- Plot the results -- finished SUCCESSFULLY!"
同样，若该脚本文件名为5_plot_result，这样可执行： > root@bmc~: chmod +x 5_plot_result > root@bmc~: ./5_plot_result 注意，因为我用的是 gnuplot 这个软件来画图，当然，看官们可以选择其他的画图软件如Python。能使用 gnuplot 的前提是系统已经安装了该软件，gnuplot 的查看是否安装以及安装教程请移步万能Google。下面给出我的.dat 和 .plt 两个文件的内容： query_time.dat： 
88.400000   193.600000  174.700000  177.600000  180.900000  
285.000000  170.100000  168.200000  181.700000  168.800000  
293.100000  179.500000  177.800000  178.500000  178.600000  
619.200000  176.600000  174.200000  173.700000  175.700000
是的，这种形式的非常方便 .plt 文件画图，当然，需要在 GCMP-Query 中写出直接生成该 .dat 文件的代码。 当然，为了扩展方便，建议将每一列数据写到一个单独的 .dat 中，因为一列数据是一个变量在不同设置下的实验结果，日后若有算法对比，应该给该变量画单独的图。 draw.plt 的代码如下，为了偷懒，我将五个图画在了一张画布上： 
#!/usr/bin/gnuplot
reset
set terminal pdfcairo lw 2 font "Helvetica, 18" size 12, 8
set  output "query_time.pdf"

set multiplot

###################################################              (1--r)

set origin 0.18, 0.0
set size 0.33, 0.45
set tmargin 1

set xlabel font  "Arial,20"
set ylabel font  "Arial,20"
set ylabel "Query Cost(ms)"
set xlabel "Time Length"
set title "Query_time vs. Time_Length"

set key box on inside left top
#vertical Left enhanced samplen 3 spacing 0.8 width -0.5 height 0 box lw 1 width 2

set xrange [0:3]
set xtics ("10" 0, "20" 1, "30" 2, "40" 3)

unset label

plot "time_len.dat" using ($1) title 't_len' with linespoints lt 1 pt 1 lw 1 lc 1

###################################################

set origin 0.52, 0.0
set size 0.33, 0.45
set tmargin 1

set xlabel font  "Arial,20"
set ylabel font  "Arial,20"
set ylabel "Query Cost(ms)"
set xlabel "K"
set title "Query_time vs. K"
unset key

set key box on inside left top
#vertical Left enhanced samplen 3 spacing 0.8 width -0.5 height 0 box lw 1 width 2

set xrange [0:3]
set xtics ("1" 0, "3" 1, "6" 2, "9" 3)
set ytics 700
#set yrange [0:4]
#set ytics ("0" 0, "50" 1, "100" 2, "150" 3, "200" 4)

#unset label

plot "K.dat" using ($1) title 'K' with linespoints lt 1 pt 2 lw 1 lc 2

###################################################

reset
set origin 0.0, 0.55
set size 0.33, 0.45
set tmargin 1

set xlabel font  "Arial,20"
set ylabel font  "Arial,20"
set ylabel "Query Cost(ms)"
set xlabel "L"
set title "Query_time vs. L"

set key box on inside left top
#vertical Left enhanced samplen 3 spacing 0.8 width -0.5 height 0 box lw 1 width 2

set xrange [0:3]
set xtics ("1" 0, "2" 1, "3" 2, "4" 3)
set ytics 700
#set yrange [0:7]
#set ytics ("0" 0, "100" 1, "200" 2, "300" 3, "400" 4, "500" 5, "600" 6, "700" 7)

unset label

plot 'L.dat' \
   using ($1) title 'L' with linespoints lt 1 pt 3 lw 1 lc 3

###################################################

reset
set origin 0.33, 0.55
set size 0.33, 0.45
set tmargin 1

set xlabel font  "Arial,20"
set ylabel font  "Arial,20"
set ylabel "Query Cost(ms)"
set xlabel "G"
set title "Query_time vs. G"

set key box on inside left top
#vertical Left enhanced samplen 3 spacing 0.8 width -0.5 height 0 box lw 1 width 2

set xrange [0:3]
set xtics ("5" 0, "10" 1, "20" 2, "40" 3)
set ytics 700
#set yrange [0:7]
#set ytics ("0" 0, "100" 1, "200" 2, "300" 3, "400" 4, "500" 5, "600" 6, "700" 7)


unset label

plot 'G.dat' \
   using ($1) title 'G' with linespoints lt 1 pt 4 lw 1 lc 4

###################################################

reset
set origin 0.66, 0.55
set size 0.33, 0.45
set tmargin 1

set xlabel font  "Arial,20"
set ylabel font  "Arial,20"
set ylabel "Query Cost(ms)"
set xlabel "M"
set title "Query_time vs. M"

set key box on inside left top
#vertical Left enhanced samplen 3 spacing 0.8 width -0.5 height 0 box lw 1 width 2

set xrange [0:3]
set xtics ("500" 0, "1000" 1, "2000" 2, "4000" 3)
set ytics 700
#set yrange [0:7]
#set ytics ("0" 0, "100" 1, "200" 2, "300" 3, "400" 4, "500" 5, "600" 6, "700" 7)

unset label

plot 'M.dat' \
   using ($1) title 'M' with linespoints lt 1 pt 5 lw 1 lc 5

###################################################

unset multiplot

#
最后生成的结果图如下：

图6 实验结果图

6、统一起来
此处，还可以写个 0_bash_config 的脚本，将各个脚本文件中的预设参数值给统一替换：

#!/bin/bash

let old_sta_pre_value=0
let old_sta_nxt_value=${old_sta_pre_value}+100

let new_sta_pre_value=100
let new_sta_nxt_value=${new_sta_pre_value}+100

let old_first_end_pre_value=19
let old_first_end_nxt_value=${old_first_end_pre_value}+100

let new_first_end_pre_value=119
let new_first_end_nxt_value=${new_first_end_pre_value}+100

let old_end_pre_value=99
let old_end_nxt_value=${old_end_pre_value}+100

let new_end_pre_value=199
let new_end_nxt_value=${new_end_pre_value}+100

let old_length_pre_value=100
let old_length_nxt_value=${old_length_pre_value}+100

let new_length_pre_value=200
let new_length_nxt_value=${new_length_pre_value}+100

echo "new_length_nxt_value=${new_length_nxt_value}"

pre_string_1="old_sta=${old_sta_pre_value}"
nxt_string_1="old_sta=${old_sta_nxt_value}"

pre_string_2="new_sta=${new_sta_pre_value}"
nxt_string_2="new_sta=${new_sta_nxt_value}"

pre_string_3="old_first_end=${old_first_end_pre_value}"
nxt_string_3="old_first_end=${old_first_end_nxt_value}"

pre_string_4="new_first_end=${new_first_end_pre_value}"
nxt_string_4="new_first_end=${new_first_end_nxt_value}"

pre_string_5="old_end=${old_end_pre_value}"
nxt_string_5="old_end=${old_end_nxt_value}"

pre_string_6="new_end=${new_end_pre_value}"
nxt_string_6="new_end=${new_end_nxt_value}"

pre_string_7="old_length=${old_length_pre_value}"
nxt_string_7="old_length=${old_length_nxt_value}"

pre_string_8="new_length=${new_length_pre_value}"
nxt_string_8="new_length=${new_length_nxt_value}"

bash_loc="/home/xuying/java_codes/bashes"

sed -i "s/${pre_string_1}/${nxt_string_1}/g" ${bash_loc}/*
sed -i "s/${pre_string_2}/${nxt_string_2}/g" ${bash_loc}/*
sed -i "s/${pre_string_3}/${nxt_string_3}/g" ${bash_loc}/*
sed -i "s/${pre_string_4}/${nxt_string_4}/g" ${bash_loc}/*
sed -i "s/${pre_string_5}/${nxt_string_5}/g" ${bash_loc}/*
sed -i "s/${pre_string_6}/${nxt_string_6}/g" ${bash_loc}/*
sed -i "s/${pre_string_7}/${nxt_string_7}/g" ${bash_loc}/*
sed -i "s/${pre_string_8}/${nxt_string_8}/g" ${bash_loc}/*


echo "Step 0 -- Config all bash files -- finished SUCESSFULLY!"

最后，还可以写一个 run_all 的脚本文件：

#!/bin/bash

./0_config
./1_mod_folder_name
./2_mod_cltgen_config
./3_gen_cluter_files
./4_run_gcmp_query
./5_plot_result

echo "** Congratulations!! all is Completed!!!  **"

好了，写到这儿，只要代码没错。那么，每次重新从 生成 cluster_files 到 生成最终结果图，只需要两步：
1） 修改 0_bash_config 中的参数值
2） 运行 run_all

root@bmc~: chmod +x run_all
root@bmc~: ./run_all

大家周一愉快:)

TVXQ_xy
关注
专栏目录
Bash Shell 脚本编程及系统大规模自动化运维教程合集.zip
01-31
Bash（Bourne-Again SHell）是Unix/Linux操作系统中的默认shell，它提供了与系统交互、执行命令以及自动化任务的能力。本教程合集针对Bash Shell脚本编程和系统大规模自动化运维进行了深入讲解，对于提升运维效率和...
Bash脚本如何自动化日常任务？
最新发布
VicCecillia的博客
04-25 381
Bash脚本是一种强大的自动化工具，它可以帮助我们简化工作流程，减少人工操作，从而提高生产力。Cron是一个用于定时执行任务的守护进程，它可以根据你设置的时间表来运行脚本。例如，你可以编写一个脚本来统计某个日志文件中特定错误的数量，或者查找某个时间段内的特定事件。如果你需要定期监控系统的某些指标，如CPU使用率、内存使用率或磁盘空间等，你也可以使用Bash脚本来实现。要编写一个Bash脚本，你只需要创建一个文本文件，将需要执行的命令逐行写入，然后保存文件并赋予其执行权限。例如，你可以创建一个名为。
linux运维之Bash自动化-01Bash脚本介绍
qq_40531442的博客
05-08 890
linux运维之Bash自动化-01Bash脚本介绍 Bash脚本介绍1. 前言2.什么是Bash？3. Bash脚本能干什么?4. 学Bash的方法5. 结尾 1. 前言 从今天开始，做一套Bash教程，和大家一起学习Bash自动化，接下来不讲废话。 2.什么是Bash？ Bash 是 Unix 系统和 Linux 系统的一种 Shell(命令行环境),是目前绝大多... 你以为我会讲的这么官方？想多了，我要说的是，Bash就是linux等类Unix上使用的脚本语...
Linux之Shell脚本自动化编程二（bash脚本混合编程和子shell）
工科僧的博客
08-05 1195
bash脚本混合编程 脚本混合编程说的是在bash的脚本里面可以加入python等其他编程脚本语言的，但是根据我们上一讲所讲的内容，#!这种shebang只在第一行才有效果，那也就说只能指定一个解释器，那么如何混合编程呢？其实c和汇编混合编程还是很常见的，不过我也没有实际去编过，我们前面学了python，我们就来看bash脚本里如何运行一段python。其实就是用了之前学过的一个输入重定向，没有...
shell 脚本自动化
Tony的专栏
05-22 4689
在日常编写shell脚本时，我们通过需要读取交互输入的数据来控制程序运行。但是当用户输入的这些数据是固定的时候我们可以使这种半自动交互执行方式变成自动执行。         首先写一个交互式输入的脚本：         #!/bin/bash/         # filename：interactive.sh         read -p "Enter your name :"  Na
shell脚本练习，自动化部署脚本
10-28
在"shell脚本练习"中，我们将学习如何利用Bash语法，如变量赋值、条件语句、循环结构、函数定义等，来构建复杂的自动化流程。 `Nginx`是一款高性能的HTTP和反向代理服务器，广泛用于网站部署，提供静态文件服务和...
android apk重签名，shell脚本自动化
08-30
在这样的情况下，手动操作不仅耗时且容易出错，因此使用shell脚本自动化这个过程可以提高效率和准确性。 首先，让我们理解APK签名的概念。在Android中，每个APK都需要一个数字签名，证明该应用是由特定开发者创建的...
虚拟机上使用Ubuntu时的坑汇总
TVXQ_xy的博客
11-26 642
原装的Firefox不能用 卸载： http://blog.sina.com.cn/s/blog_49f914ab0100hfss.html 安装： 搜狗输入法安装http://blog.csdn.net/ljheee/article/details/52966456
std::bad_alloc的处理
TVXQ_xy的博客
12-24 4万+
当然，我这里只是针对我这一会儿的情况。最近跑的一个C++程序，迭代时间长，而且一共有800个迭代，等了一天，跑到第284个迭代就挂了，重新跑一次，同样的地方又挂了。各种检查是不是有申请了内存没释放（delete[]）没释放的。最后，千辛万苦，终于发现，是vector这个小家伙捣的鬼。 下面摘自http://www.cnblogs.com/BeyondAnyTime/archive/2012/08/
sh脚本和bash脚本_Bash脚本自动化简介
cumo7370的博客
07-13 378
sh脚本和bash脚本 Sysadmins是我们中最紧密地运行和管理Linux计算机的管理员，可以直接访问有助于我们更有效地工作的工具。 为了帮助您最大程度地使用这些工具以使您的生活更轻松，本系列文章探讨了以Bash shell脚本的形式使用自动化。 它涵盖： 使用Bash Shell脚本实现自动化的优势 为什么使用Shell脚本对系统管理员来说比C或C ++等编译语言更好 为新脚...
Shell知识点回顾
_a_0_
12-19 311
shell基本的语法： 定义变量：key=value 注意：等号两边不能有空格，使用字母数字下划线命名，但是不能以数字开发头，系统变量建议全大写字母撤销变量使用的是：unset命令声明静态变量：readonly 变量 注意：不能unset变量的值如果有空格，那么要加引号，默认是字符串，不能进行运算； export将变量提升为全局变量 特殊变量：$n ： n是数字，$0表示该脚本的名称...
Linux下shell脚本：bash的介绍和使用（详细）
热门推荐
weixin_42432281的博客
03-15 7万+
Shell：一般我们是用图形界面和命令去控制计算机，真正能够控制计算机硬件（CPU、内存、显示器等）的只有操作系统内核（Kernel），由于安全、复杂、繁琐等原因，用户不能直接接触内核，需要另外再开发一个程序，让用户直接使用这个程序；该程序的作用就是接收用户的操作（点击图标、输入命令），并进行简单的处理，然后再传递给内核，内核和用户之间就多了一层“中间代理”，Shell 其实就是一种脚本语言，也是...
bash/zsh：Linux终端启动时可自动执行命令的一些文件
Faiz5z的专栏
07-10 1万+
某些文件 配置终端启动时自动执行一些命令, 一般是source命令, 可以在 ~/.bashrc, ~/.bash_profile, ~/.profile, 或者 ~/.zshrc 文件添加这些命令， 然后重新启动终端。 关于~/.zshrc 当 Zsh 启动时，它会按照顺序依次读取下面的配置文件： /etc/zsh/zshenv 该文件应该包含用来设置PATH 环境变量...
bash自动执行命令方法
大坑之路
08-11 2278
echo "source /opt/ros/kinetic/setup.bash" >> ~/.bashrc source ~/.bashrc
bash自动化
weixin_30814329的博客
05-19 73
#!bin/shcd java设计模式程序源代码for var in * do cd $var for var2 in * do # echo $var"->"$var2 # mv $var2 "c"`echo $var2|sed 's/\.//g'` cd $var2 for var3 in `ls|grep java` ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值