背景
该方式是在离线环境下搭建的小型图像并行处理系统,主要是因为离线环境下去搭建消息队列等太过于复杂
- windows 7监控本地文件夹是否存入新的图像,无论是拷贝还是FTP传入该文件夹的新图像都将被监测
- 当出现新图像传入之后,win程序将图像间隔拷贝至本地N个文件夹(N的=ubuntu服务器的个数),每个文件夹都共享并挂载到一个ubuntu服务器
- ubuntu服务器监测本地一个文件夹变化,并将新增加的图片传入数组
- ubuntu上基于深度学习的图像处理线程判断数组是否有新的图像并进行处理,最终将处理后图片传送至ubuntu挂载的windows结果文件夹
一些依赖(离线配置用)
系统:ubuntu16.04.1、win7
其他小离线依赖:
链接
提取码:upue
ubuntu挂载windows共享文件夹
这个可以参照我之前的博客进行配置
需要共享的文件夹主要是N+1个,这里例如有两个ubuntu服务器,那么需要共享的文件夹是:win_ubuntu1, win_ubuntu2, win_output,这里需要解释的是,win_ubuntu1和win_ubuntu2都是ubuntu系统的文件夹然后挂载到win上的,其实步骤是ubuntu下samba共享文件夹,win可以共享访问,然后宣州共享文件夹将这两个共享文件夹设置在win上的盘符
windows端设置
首先是建立一个文件夹用于存储图像,并且用代码监测该文件夹变化,如果有新图像进入,则拷贝到win_ubuntu1, win_ubuntu2
(注意:这里用拷贝的方法而没有考虑用FTP直接发送到ubuntu,主要是因为FTP比拷贝慢的多)
import os
import sys
import time
import logging
import shutil import copyfile
from threading import Thread
from watchdog.observers import Observer
from watchdog.events import *
create_event = []
modify_event = []
index = 0
win_dirs = []
exts = ['png']
def multiprocess(f):
def wrapper(*args, **kwargs):
thr = Thread(target=f, args=args, kwargs=kwargs)
thr.start()
return wrapper
@multiprocess
def copy_file(input_file, out_file):
copyfile(input_file, out_file)
print