shell多进程处理多图像

Brief

最近做一个目标检测项目的时候，一共有接近6000张高分辨率的图片，为了对图片的运算得到一个好的检测结果，采用先对图片进行图片增强的工作，但是增强的工作对一张图片处理的时间很长，一个晚上处理了130张，这么计算可能处理完整个文件夹需要16天，对于急于看到结果的我来说，是不能容忍的，因此采用shell文件进行程序并发，每一个程序处理30张，大概需要200个并行程序，希望服务器不会宕机0.0.

大体思想

通过控制文件名来控制文件数量，通过shell文件调用处理图像增强程序，同时传入需要处理的文件名称，deal.sh如下：

#!main.sh主体
#!/bin/sh
tmp_=30
for ((i=170; i<=5543; i=i+tmp_))
do
{
   python test.py $i $tmp_
}&
done
exit 1

图像增强文件文件，通过控制id处理需要处理的文件：

if  int(line) < int(sys.argv[1]) or int(line)>= (int(sys.argv[1])+int(sys.argv[2])):
            continue

运行

如果胆子更大一点，进一步设置每个进程处理图片的个数为15，不到2小时就处理结束了，不过CPU的占用就很高了，希望不要被管理员照顾了。

大概隔了一分钟。0.0

果然就GG了，不过学到了一句新批量杀死多进程的命令：

 ps -ef | grep python | grep -v grep | cut -c 9-15 | xargs kill -s 9

上一句是杀死 关键字是python的程序，这里的关键词指的是运行程序采用的指令