文章目录
【参考文献】
【1】 A5互联
【2】 Shell基本用法
【3】 shell计时
1 如何使用Chmod使Bash脚本可执行
引用自参考文献【1】
在本教程中,我将逐步介绍创建bash脚本并使用chmod命令使脚本可执行的步骤。之后,无需使用sh或bash命令就可以运行它。
步骤1: 创建一个Bash文件
首先是.sh使用以下命令创建带有扩展名的新文本文件。
$ touch hello_script.sh
步骤2: 编写示例脚本
使用任何喜欢的编辑器打开新创建的文件,将以下bash脚本添加到文件中。
$ vim hello_script.sh
#!/bin/bash
echo "Hello World"
使用保存并关闭文件:wq!。
步骤3: 执行Bash脚本
有两种方法可以运行bash文件。第一个是通过使用bash命令,另一个是通过将执行权限设置为bash文件。
让我们运行以下命令以使用bash或sh命令执行bash脚本。
$ bash hello_script.sh
要么
$ sh hello_script.sh
步骤4: 将可执行权限设置为脚本
执行bash脚本的第二种方法是设置可执行权限。
要使脚本可执行文件,请使用+x或u+x,例如:
$ chmod u+x hello_script.sh
步骤5:运行可执行脚本
将可执行文件权限分配给脚本后,可以运行不带bash命令的脚本,如下所示。
$ ./hello_script.sh
另一个示例
在下面的示例中,我将编写并执行一个bash脚本以从源到目标进行备份。
$ vim backup_script.sh
#!/bin/bash
TIME=`date +%b-%d-%y`
DESTINATION=/home/kashif/backup-$BACKUPTIME.tar.gz
SOURCE=/data_folder
tar -cpzf $DESTINATION $SOURCE
使用:wq!保存并关闭文件,并使用下面的命令赋予其可执行权限:
$ chmod +x backup_script.sh
现在运行脚本:
$ ./backup_script
2 shell教程
2.0 运行程序
以运行python为例,一个名为write_totTb.py的python文件,在终端上运行使用python write_totTb.py
,
现在不在终端运行,而是通过在bash里面运行,则bash的内容如下(名为test.sh):
然后直接运行test.sh
#方法1
sh test.sh
#方法2
chmod +x test.sh #加成可执行权限,运行之后看到文件变绿色
./test.sh #运行可执行文件
2.1 for 循环
2.1.1 单层for循环
这部分可以查看参考文献【2】Shell基本用法
这里对for循环做一个说明,通常情况下我们的for循环是下面这个样子
不过系统为了加快速度,不是使用的bash,因此需要改如下(有两种方法,这里只说第一种,参考小小小羊羊羊):
是从1开始的,一直到10,如果要从0开始,则
2.1.2 两层for循环
2.1.3 循环列表
连续列表可以使用
for i in `seq 0 9` #从0到9共10个数
or
for i in {0..9} #从0到9共10个数
如果是不连续的列表,如[1,9,11,25]
, 则
for i in 1 9 11 25
do
xxx
done
注意数字中间是空格,不能用{1,9,11,25}
2.2 文件读写
2.2.1 保存到文件
有两种方式指定到文件
> a.txt 写入文件
>> a.txt 追加形式写入文件
2.2.2 终端的输出保存到文件
参考博文
在bash中,
>标准输出
2>错误输出
<标准输入
如果需要将终端输出的信息保存到文件中,可以认为终端的是warning或者error之类的,那么可以
./run.sh 2> err.log > info.txt #表示错误信息(终端上的)输出到err.log, 而我们需要的输出值放到info.txt中
2.2.3 读取文件并相加
这里要实现读取两个.txt文件并相加
两个文件a.txt和b.txt都如下:
1
2
3
需要读取并对应相加,得到的值应该是2,4,6
实现思路:先将文件读取并保存到变量中,然后实现这两个变量求和(应该有更好的方法,比如不保存,而是直接求和)
2.2.4 利用tee一次性写入多个文件
params.txt如下:
#!/bin/bash
mapfile params_arr < params.txt
echo ${params_arr[@]}
echo ${params_arr[0]} | tee a.txt b.txt c.txt # 将数组中的第一个数写入三个文件中
上面的方法tee写入的时候,会echo输出,为了不让输出可以将标准输出扔到“黑洞”中
echo ${params_arr[0]} | tee a.txt b.txt c.txt >/dev/null
2.3 运行时间
参考【3】
#/bin/bash
declare starttime=`date +%s%N`
declare endtime=`date +%s%N`
c=`expr $endtime - $starttime`
# do something
# end do something
c=`expr $c / 1000000` #从纳秒到毫秒
echo "$c ms"
计算机给的是纳秒,除以10的六次方得到毫秒,如果要得到秒,则上面除以10的九次方。
从秒到分则是除以60
c=`expr $c / 1000000` # ms
c=`expr $c / 1000000000` # s
c=`expr $c / 60000000000` #min
更新
上面的方法好像没用,一直都显示0,可以使用下面新方法
#!/bin/bash
start_time=$(date +%s)
sleep 1
###
运行程序
###
end_time=$(date +%s)
cost_time=$[ $end_time-$start_time ]
echo "time cost: $(($cost_time/60))min $(($cost_time%60))s"
如果想把时间输出到文件上,则可以把最后一行改为
echo "time cost: $(($cost_time/60))min $(($cost_time%60))s">time_cost.log
此时查看time_cost.log
就可以看到时间了
2 另外一个方法是使用time关键字,
比如test.sh文件为:
运行:
time sh test.sh
or
time bash test.sh
得到
第一个real time就是表示程序运行所花的时间
更新…
计算时间间隔,可以调用date,两者相减,参考
start_time="$(date -u +%s.%N)"
sleep 5
end_time="$(date -u +%s.%N)"
elapsed="$(bc <<<"$end_time-$start_time")"
echo "Total of $elapsed seconds elapsed for process"
Total of 5.001884264 seconds elapsed for process
或者直接调用内置变量SECONDS计时,参考
SECONDS=0
# do some work
duration=$SECONDS
echo "$(($duration / 60)) minutes and $(($duration % 60)) seconds elapsed."
文中说需要先SECONDS=0,实际上默认第一次调用就是0,所以也可以不用初始化为0(更新:必须设置SECONDS=0,否则可能不对,比如下面设置小于等于10一直运行,如果不初始化SECONDS=0,则可能4秒就结束了; 更新:注意要用bash运行,使用sh会得到都是0)
使用循环
SECONDS=0
while [ $SECONDS -le 10 ]
do
echo $SECONDS
done
2.4 数组
2.4.1 数组定义和索引
参考博文
使用括号括起来,空格隔开,如:(注意复制号前后不能空)
运行之后
数组的索引是从0开始的,因此要获得某个变量的值可以如下:($
不可少)
2.4.2 数组创建
创建数组除了直接定义如a=(1,2,3)
外,还可以借助seq来创建
a=$(seq 0 5) # 从0到5的list,即a=[0,1,2,3,4,5]
a=($(seq 0 5)) # 从0到5的数组array,即a=np.array([0,1,2,3,4,5])
即
其中seq还可以创建小数位数的数组
只要让增量为小数即可,如
另一个方便的方法是:
for i in {0..5} #则i=0,1,2,3,4,5共6个数
2.4.3 数组长度
数组长度有两个方法:
在终端上输入:
第一行表示数组从0.7430到0.8320,间隔为0.0001
第二行表示数组长度,输出为:
2.4.4 mapfile读文件到数组–bash
有一个params.txt文件,如下:
通过mapfile读到数组中,代码文件名为test.sh
#!/bin/bash
mapfile params_arr < params.txt #读到数组
echo ${params_arr[0]} # 返回第一个数组值
运行bash test.sh
得到
307200
如果要读取数组全部内容,需要
echo ${params_arr[@]} #全部
echo ${params_arr} #只读第一个数
2.4.5 读文件到数组–sh
sh不能像bash一样使用mapfile(发现手机的sh和linux自带的sh不一样,linux自带的应该是可以用2.4.4节的方法,但是手机的只能用本节方法),比如Android手机是没有bash的,只有sh,这个时候可以一行一行的读,然后加载到文件
比如
m=0
for line in `cat /data/local/tmp/params.txt`
do
params[$m]=$line
((m++))
done
echo ${params[@]}
echo ${params[0]}
echo ${params[1]}
echo ${params[4]}
307200 307200 633600 633600 806400 806400
307200
307200
806400
2.4.5 数组最后一个数/索引
在比较高版本的bash中,数组最后一个数可以像python一样用-1来读,如
#!/bin/bash
a=(1 2 3 4)
echo ${a[-1]} #直接获取最后一个数
echo ${a[${#a[@]}-1]} #先获取数组长度,然后再获取最后一个的索引
4
4
在手机adb中,只能使用后者
2.5 参数传递
2.5.0 无参数–bash运行python
有一个add.py文件,内容为:
建立一个run.sh脚本,内容为:
则通过
sh run.sh
or
bash run.sh
则可以实现bash来运行python的功能,这个简易的功能对某些情况非常有效,如对python很熟,但对bash不熟的情况,可以将代码用大量的python写,之后用bash来传递参数进行提交作业等简易工作。(如下两个例子)
2.5.1 单参数传递–运行python
假如有一个名为test.py的python文件,里面需要传递一个参数,那么可以通过run.sh来传递如下:
for i in {0..2}
do
python test.py $i
done
在test.py中要用sys接收这个参数
test.py如下:
import sys
i = int(sys.argv[1]) #int也可以改为想要的类型,如str,float等,1表示第一个参数
xxx
这里的
i
i
i(可以任意命名)表示接收的上面run.sh的参数
i
i
i
这样就把参数传递到python文件里面了。
但这样做没有提高计算速度,实际上相当于在python的test.py里面加了一层循环而已,现在可以通过提交多个文件的方式提高速度,相当于多次任务,每个任务都是1分钟的话,那么总的任务也是1分钟,这些任务是分开计算的。
假如有一个名为test.py的python文件,里面需要传递一个参数,
run.sh
test.sh
其中$1
表示传入的第一个参数,即run.sh的i
2.5.2 举例1,多参数传递
目标:要实现多参数传递。
有一个名为run.sh的文件,如下:(实现的功能为,利用hep_sub
提交任务到服务器,并在atm_xv_xd.sh
中有两个参数需要传递,第一个参数为循环的[0,1,2]
,第二个参数为数组array([2.70,2.71,...,3.10])
,即间隔为0.01的数组。错误信息填在err.log中,输出信息填在out.log中
其中atm_xv_xd.sh
为:
所以在out.log的结果如下:
对于am来计算大气,则atm_xv_xd.sh
可以如下:
再以读取文件时的参数传递为例:
一般文本保存都是以数字来有序标记,比如test0.txt
, test1.txt
等,那么读取文件的时候也可以按顺序读取,
现在 a.sh
如下:循环[0,1],提交作业到服务器
am_run.sh
如下
读取test0.txt
和test1.txt
文件,注意,上面的$1
表示的是传递第一个参数,即前面的loop,而不是表示第一个文件!
2.5.4 adb参数传递
这里主要讨论adb参数比较多的情况,比如获取一个正在运行的进程的pid,发现会有多个,这个时候在手机adb直接传数组会出错,此时的方法是先保存到文件,然后再读取文件内容到数组
2.6 条件判断
2.6.1 if语句
举例1:
其中:
所以结果为:
举例2:取余,当余数为0打印出数。注意等号那儿有空格。
for i in {0..100}
do
b=$(($i%10))
if [ $b = 0 ];then
echo $i
fi
done
~
3 常见问题
3.1 提交作业运行时间很长
最近遇到一个问题,有个run.sh
文件用于提交432分作业,然后每份作业计算361个点。每个点在本地计算大约4 s,只提交一次作业到服务器计算一个点大约0.5 s,现在提交432分作业,每份361个点,那么时间应该是361*0.4=144.4s,但结果却出奇的慢
这主要是因为输出错误文件都到err.log了,导致这个文件一直打开封闭直接读写,因此会出矛盾,也不能用>>data/err.log
来追加,因为这样只能等所有文件都写完才能关闭这个文件,才算结束,这就等于串行了。修改方法为:err.log
单独保存
#单独保存
am 00001.amc ${x[$k]} ${y[$k]} 2>data/jacobian/test/err${k}.log> data/jacobian/test/det_$1_ring_${k}.out