文章目录
模型部署
一、模型部署的定义与目的
模型部署是指将大模型运行在专属的计算资源上，使模型在独立的运行环境中高效、可靠地运行，并为业务应用提供推理服务。其目标是将机器学习模型应用于实际业务中，使最终用户或系统能够利用模型的输出，从而发挥其作用。
二、模型部署的步骤
- 导出模型：将训练好的模型导出为可部署的格式。
- 部署模型：将导出的模型部署到生产环境中，通常是以一个服务或一个库的形式。
- 测试模型：在生产环境中对模型进行测试，以确保其能够正常工作，并且输出结果符合预期。
- 监控模型：在生产环境中对模型进行监控，以便及时发现并解决问题。
三、模型部署的方式
模型的部署方式多种多样，可以根据具体的应用场景和需求而定。以下是一些常见的模型部署方式：
- 云端部署：将模型部署到云端服务器上，通过API接口提供服务，实现远程调用。这种方式可以实现大规模的分布式计算和存储，同时提供高可用性和可扩展性。在云端部署中，需要考虑数据的安全性和隐私保护，以及模型的并发处理能力。
- 嵌入式设备部署：将模型部署到嵌入式设备中，如智能手机、智能音箱、智能家居等。这种方式可以实现本地化的智能化应用，具有实时性、低延迟的优点。在嵌入式设备部署中，需要考虑设备的计算能力、存储空间等限制，以及模型的轻量化设计。
- 边缘计算部署：将模型部署到边缘设备上，如路由器、摄像头等。这种方式可以实现本地数据的实时处理和智能化分析，减少数据传输的延迟和成本。在边缘计算部署中，需要考虑设备的计算能力和数据处理能力，以及模型的实时性要求。
- 移动端部署：将模型部署到移动端设备上，如智能手机、平板电脑等。这种方式可以实现移动设备的智能化应用，提高用户体验。在移动端部署中，需要考虑设备的功耗和性能限制，以及模型的轻量化设计。
- FPGA和GPU部署：FPGA（Field-Programmable Gate Array）部署是将深度学习模型部署到FPGA芯片上，实现高效的硬件加速，提高模型的运行速度和效率。GPU（Graphics Processing Unit）部署是将深度学习模型部署到GPU上，利用GPU的并行计算能力，提高模型的运行速度和效率。这两种方式适用于对计算性能要求较高的场景，如实时图像处理、视频分析等。
四、Flask框架
-
优点：
- 轻量级：Flask是一个轻量级的框架，代码量少，灵活性高，适合快速开发小型应用程序。
- 简单易学：Flask的设计理念简洁明了，入门相对容易，对于初学者来说非常友好。可扩展性强：Flask提供了丰富的扩展库，开发者可以根据需求选择合适的扩展来扩展功能。
- 社区支持良好：Flask有一个庞大的社区，提供了丰富的资源和支持。
-
缺点：
- 功能相对较少：相比于一些大型框架如Django，Flask的功能相对较少，需要依赖扩展库来实现一些功能。
- 安全性考虑：由于Flask的轻量级特性，安全性方面的考虑需要开发者自行关注。
- 不适合大型应用：由于Flask的轻量级特性，它可能不适合开发大型复杂的应用程序。
五、实现模型部署
1. 搭建服务端
1.1 初始化Flask app
"""-----初始化Flask app-----"""
app = flask.Flask(__name__) # 创建一个Flask应用程序实例
model = None
use_gpu = False
1.2 加载模型
本片使用自带的残差网络模型，将网络模型输出转化为自己要求的输出类别数量：
def load_model():
global model
# 加载resnet18网络
model = models.resnet18()
num_ftrs = model.fc.in_features
model.fc = nn.Sequential(nn.Linear(num_ftrs,102))
checkpoint = torch.load('best.pth')
model.load_state_dict(checkpoint['state_dict'])
model.eval()
# 是否使用gpu
if use_gpu:
model.cuda()
1.3 数据预处理
将图像转换为模型输入所需的格式：
def prepare_image(image,target_size):
if image.mode !='RGB':
image = image.convert('RGB')
image = transforms.Resize(target_size)(image)
image = transforms.ToTensor()(image)
image = transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])(image)
image = image[None]
if use_gpu:
image = image.cuda()
return torch.tensor(image)
1.4 构建装饰器
@app.route是一个装饰器，用于将特定的URL路径绑定到一个视图函数上。当Web服务器接收到与该URL路径匹配且方法也匹配的HTTP请求时，就会调用相应的视图函数来处理该请求。
@app.route("/predict",methods = ["POST"])
def predict():
# 做一个标志，刚开始无图像传入时为false，传入图像时为true
data = {"success":False}
if flask.request.method == 'POST':
if flask.request.files.get("image"):
image = flask.request.files["image"].read()
image = Image.open(io.BytesIO(image))
image = prepare_image(image,target_size=(224,224))
preds = F.softmax(model(image),dim=1)
results = torch.topk(preds.cpu().data,k=3,dim=1)
results = (results[0].cpu().numpy(),results[1].cpu().numpy())
data['predictions'] = list()
for prob,label in zip(results[0][0],results[1][0]):
r = {"label":str(label),"probability":float(prob)}
data['predictions'].append(r)
data["success"] = True
return flask.jsonify(data)
1.5 完整代码
import io
import flask
import torch
import jsonify
import torch.nn.functional as F
from PIL import Image
from torch import nn
from torchvision import transforms,models,datasets
"""-----初始化Flask app-----"""
app = flask.Flask(__name__) # 创建一个Flask应用程序实例
model = None
use_gpu = False
"""-----加载模型进来-----"""
def load_model():
global model
# 加载resnet18网络
model = models.resnet18()
num_ftrs = model.fc.in_features
model.fc = nn.Sequential(nn.Linear(num_ftrs,102))
checkpoint = torch.load('best.pth')
model.load_state_dict(checkpoint['state_dict'])
model.eval()
# 是否使用gpu
if use_gpu:
model.cuda()
"""-----数据预处理-----"""
def prepare_image(image,target_size):
if image.mode !='RGB':
image = image.convert('RGB')
image = transforms.Resize(target_size)(image)
image = transforms.ToTensor()(image)
image = transforms.Normalize([0.485,0.456,0.406],[0.229,0.224,0.225])(image)
image = image[None]
if use_gpu:
image = image.cuda()
return torch.tensor(image)
# @app.route是一个装饰器，用于将特定的URL路径绑定到一个视图函数上。
# 当Web服务器接收到与该URL路径匹配且方法也匹配的HTTP请求时，就会调用相应的视图函数来处理该请求。
@app.route("/predict",methods = ["POST"])
def predict():
# 做一个标志，刚开始无图像传入时为false，传入图像时为true
data = {"success":False}
if flask.request.method == 'POST':
if flask.request.files.get("image"):
image = flask.request.files["image"].read()
image = Image.open(io.BytesIO(image))
image = prepare_image(image,target_size=(224,224))
preds = F.softmax(model(image),dim=1)
results = torch.topk(preds.cpu().data,k=3,dim=1)
results = (results[0].cpu().numpy(),results[1].cpu().numpy())
data['predictions'] = list()
for prob,label in zip(results[0][0],results[1][0]):
r = {"label":str(label),"probability":float(prob)}
data['predictions'].append(r)
data["success"] = True
return flask.jsonify(data)
if __name__ == '__main__':
print("Loading PyTorch model and Flask starting server...")
print("Please wait until server has fully started")
load_model() #加载模型
# 再开启服务
app.run(port='5012') # 端口
2. 搭建客户端
2.1 服务端网址
用于连接服务端：
-- 127.0.0.1:表示本地地址
-- 5012：表示端口
flask_url = 'http://127.0.0.1:5012/predict'
2.2 发送请求
def predict_result(image_path):
image = open(image_path,'rb').read()
payload = {'image':image}
r = requests.post(flask_url,files=payload).json()
# 向服务端发送一个POST请求，并尝试将返回的JSON响应解析为一个Python字典
if r['success']:
for (i,result) in enumerate(r['predictions']):
print('{}.预测类别为{}:的概率{}'.format(i+1,result['label'],result['probability']))
else:
print('Reqquest failed')
2.3 完整代码
import requests
flask_url = 'http://127.0.0.1:5012/predict'
def predict_result(image_path):
image = open(image_path,'rb').read()
payload = {'image':image}
r = requests.post(flask_url,files=payload).json()
# 向服务端发送一个POST请求，并尝试将返回的JSON响应解析为一个Python字典
if r['success']:
for (i,result) in enumerate(r['predictions']):
print('{}.预测类别为{}:的概率{}'.format(i+1,result['label'],result['probability']))
else:
print('Reqquest failed')
if __name__ == '__main__':
predict_result('./train/6/image_07162.jpg')
六、运行使用
先行运行服务端，使得服务端打开，然后再运行客户端就可以连接上服务端，并使用服务端函数进行操作。
总结
本篇介绍了，如何进行模型部署，将客户端与服务端连接在一起，使客户可以借用服务端来操作。
扫一扫
2619
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
