Brief
最近做一个目标检测项目的时候,一共有接近6000张高分辨率的图片,为了对图片的运算得到一个好的检测结果,采用先对图片进行图片增强的工作,但是增强的工作对一张图片处理的时间很长,一个晚上处理了130张,这么计算可能处理完整个文件夹需要16天,对于急于看到结果的我来说,是不能容忍的,因此采用shell文件进行程序并发,每一个程序处理30张,大概需要200个并行程序,希望服务器不会宕机0.0.
大体思想
通过控制文件名来控制文件数量,通过shell文件调用处理图像增强程序,同时传入需要处理的文件名称,deal.sh
如下:
#!main.sh主体
#!/bin/sh
tmp_=30
for ((i=170; i<=5543; i=i+tmp_))
do
{
python test.py $i $tmp_
}&
done
exit 1
图像增强文件文件,通过控制id处理需要处理的文件:
if int(line) < int(sys.argv[1]) or int(line)>= (int(sys.argv[1])+int(sys.argv[2])):
continue
运行
如果胆子更大一点,进一步设置每个进程处理图片的个数为15,不到2小时就处理结束了,不过CPU的占用就很高了,希望不要被管理员照顾了。
大概隔了一分钟。0.0
果然就GG了,不过学到了一句新批量杀死多进程的命令:
ps -ef | grep python | grep -v grep | cut -c 9-15 | xargs kill -s 9
上一句是杀死 关键字是python
的程序,这里的关键词指的是运行程序采用的指令