前言
因为本人最近在做一个与目标检测有关的项目,最开始只是跑一跑模型,但是后来乙方提出要求需要有我们提出部署方案并实施,最开始在网上查了许多资料,发现现在有许多都是tensorflow的一些部署,而关于pytorch部署这方面实际的资料着实很少,鉴于自己最后调了出来,因而想着写一个博客和大家分享一下,相互学习学习。
1.FLask
Flask是一个 web 框架。也就是说 Flask 为你提供工具,库和技术来允许你构建一个 web 应用程序。这个 wdb 应用程序可以使一些 web 页面、博客、wiki、基于 web 的日历应用或商业网站。Flask 属于微框架(micro-framework)这一类别,微架构通常是很小的不依赖于外部库的框架。这既有优点也有缺点,优点是框架很轻量,更新时依赖少,并且专注安全方面的 bug,缺点是,你不得不自己做更多的工作,或通过添加插件增加自己的依赖列表。
Flask 的依赖如下:
Werkzeug 一个 WSGI 工具包
jinja2 模板引擎
维基百科 WSGI 的介绍:
Web服务器网关接口(Python Web Server Gateway Interface,缩写为WSGI)是为Python语言定义的Web服务器和Web应用程序或框架之间的一种简单而通用的接口)。自从WSGI被开发出来以后,许多其它语言中也出现了类似接口。
flask中文资料参考网站:http://www.pythondoc.com/flask/index.html
2.实现
我们自己在做模型测试的过程中,不难发现每次加载模型都需要很多的时间,如果我们进行网络部署的话,每次得到一次申请,每次都加载模型的话就会显得很不必要,因而在服务器上我们需要这样一种机制:将模型在服务器上load好,方便我们不断去调用模型做图像预测,而不需要多次load模型,那么怎么能够达到这个目的呢?在此处,我们可以使用flask来建立一个REST API来达到这一目的。REST 是Representational State Transfer的缩写,这是一种架构风格,这里就不再过多描述,感兴趣的同学可以自己去google一下。
代码:https://github.com/xinyu-ch/Faster_RCNN_Deloy
2.1 服务器
下面看一下利用flask启动REST API服务:
载入模型
app = flask.Flask(__name__)
model = None
use_gpu = True
def load_model():
"""Load the pre-trained model, you can use your model just as easily.
"""
global model
model = resnet50(pretrained=True) # 模型加载程序,可以根据自己需要进行更改
model.eval()
if use_gpu:
model.cuda() # 使用GPU加速
在load_model()函数中,我们需要完成对模型的加载,此处用得到的思想主要是全局变量的形式,我们把在其他函数中需要的一些参数进行全局化,在python利用global方式进行操作,此处假设我们在其他函数只需要模型的参数,就只需 global model,便可。
启动REST API
在定义载入模型之后,便可以开启flask服务了。
@app.route("/predict", methods=["POST"])
def predict():
# 初始化一个字典,状态为False,以在客户端进行判断数据是否完整
data = {"success": False}
# 判断是否POST
if flask.request.method == 'POST':
# 判断是否收到image
if flask.request.files.get("image"):
# 读取图像PIL,网络传输中一般选择二进制传输
image = flask.request.files["image"].read()
image = Image.open(io.BytesIO(image))
# 此处是我的目标检测的具体函数,你可以替换成自己的函数
box_re = raber_detection(np.array(image))
data['predictions'] = list()
l = {"BoxNumber": box_re.shape[0]}
data['predictions'].append(str(l))
# Loop over the results and add them to the list of returned predictions
for box in box_re:
r = {"BoxList": [str(i) for i in np.rint(box[:4]).astype(int)]}
data['predictions'].append(r)
# Indicate that the request was a success.
data["success"] = True
# Return the data dictionary as a JSON response.
return flask.jsonify(data)
2.2 客户端
在发送数据前,需要知道上面定义好的 flask server 的地址,默认为本地接口,所以地址是
PyTorch_REST_API_URL = 'http://127.0.0.1:5000/predict'
上面的 /predict 和前文的 @app.route("/predict", methods=[“POST”])定义相同。
接下来便可以定义发送函数了:
def predict_result(image_path):
# Initialize image path
image = open(image_path, 'rb').read()
payload = {'image': image}
# Submit the request.
r = requests.post(PyTorch_REST_API_URL, files=payload).json()
# Ensure the request was successful.
if r['success']:
det_box = []
for (i, result) in enumerate(r['predictions']):
box = []
if i > 0:
[box.append(int(j)) for j in result["BoxList"]]
det_box.append(box)
del[det_box[0]]
im2show = vis_detections(cv2.imread(image_path), np.array(det_box))
result_path = os.path.join(image_path[:-4] + "_det.jpg")
cv2.imwrite(result_path, im2show)
# cv2.imwrite('./result.jpg', im2show)
# cv2.imshow('imshow', im2show)
cv2.destroyAllWindows()
else:
print('Request failed')
此处,是接收服务器传回的Box结果,并将Box绘制到原图,进行保存,image_path是图像的路径 。
3.测试
我使用了自己训练的fasterR-CNN模型,传入下图作为测试:
首先在一个终端中运行服务器端程序:
python run_pytorch_server.py
可以看到效果如下:
待服务器程序运行成功后,再在客户端运行:
python simple_request.py --file=./0C006B5C.jpg
可以得到如下的效果图:
注意:因为我是在学校测试的,用的是学校的内网,若要在外网进行访问的话,需要进行外网穿透,固定IP的话可以映射端口或搭建VPN
参考
1.https://blog.csdn.net/dou3516/article/details/82912458
2.https://www.cnblogs.com/mrchige/p/6387674.html
————————————————
版权声明:本文为CSDN博主「Xinyu_cheng」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/Xinyu_cheng/article/details/89320488