玄学！Flask部署tensorrt模型与本地接口推理不一致

于 2024-06-19 14:31:50 发布
阅读量131 收藏
点赞数 1
文章标签： flask python 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42681787/article/details/139802008
版权

用tensorrt推理封装了一个模块，作为接口供其他模块调用，在本地测试封装的接口是没有问题的。但是将这个模块集成到flask上封装成web api服务发现推理跟本地测试的大相径庭，有趣的是系统日志、控制台没有任何错误信息。

图片用的是同一张，唯一的区别是一个通过postman base64传入图片，一个通过opencv从本地加载图片，我反复检测了模块传入参数、数据预处理.........

最后，goolge一番，发现是启动flask时的问题，要是启动flask使用debug=True就会出现错误，不使用debug就不会有错误。离谱！！！

看来问题还是出现在了pycuda库，由于才疏学浅，对利用pycuda库进行英伟达显卡内存分配，进程管理，多线程推理等不是很了解，在falsk部署tensorrt遇到了许多问题。

有知道为什么启动flask部署tensorrt不能使用debug=True吗？欢迎在评论区留言讨论

城南皮卡丘
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
YOLOX目标检测实战：Flask部署
08-26
YOLOX是旷视科技新近推出的高性能实时目标检测网络，性能超越了YOLOv3/YOLOv4 /YOLOv5。 利用YOLOX训练完自己的数据集后，如何向大众展示并提供落地的服务呢？ 本课程将提供相应的解决方案，具体讲述使用Web应用程序框架Flask进行YOLOX的Web应用部署。用户可通过客户端浏览器上传图片，经服务器处理后返回图片检测数据并在浏览器中绘制检测结果。 本项目采取前后端分离的系统架构和开发方式，减少前后端的耦合。课程包括：YOLOX的Flask部署系统架构、Flask的安装、分别在Windows和Ubuntu系统上的部署演示、YOLOX的后端代码（Flask的服务程序代码、YOLOX的API接口代码）、前端代码（HTML、CSS、Javascript）、生产环境部署建议等。相关课程：《YOLOX目标检测实战：训练自己的数据集》https://edu.csdn.net/course/detail/35586《YOLOX目标检测实战：TensorRT加速部署》https://edu.csdn.net/course/detail/35716《YOLOX目标检测实战：OpenVINO加速部署》https://edu.csdn.net/course/detail/35791
【问题解决】同一机器上Flask部署TensorRT报错记录
ddddddggf的博客
07-29 713
将flask和tensorrt结合，即利用flask实现客户端-服务器端机制。利用tensorrt对pytorch模型进行加速。
深度学习模型部署TensorRT加速（四）：TensorRT的应用场景及部署模块应用
chenhaogu的博客
09-05 447
它提供了一套工具和接口，可以进行权重和激活的量化，并在优化过程中应用量化技术，以实现高效的深度学习推理。在自动调优层中，TensorRT会根据硬件平台的特性和配置，自动尝试不同的卷积算法和参数，然后进行性能评估和比较。自动调优层在TensorRT的优化过程中发挥着重要作用，它可以针对不同的硬件平台和配置选择最佳的卷积算法和参数，以实现最优的推理性能。通过优化和部署深度学习模型，TensorRT可以提供快速、低功耗的推理能力，使得在资源受限的设备上进行实时的边缘推理成为可能。
Flask部署TensorRT问题解决（pycuda._driver.LogicError: explicit_context_dependent failed）
liguiyuan的博客
12-14 1878
问题描述： 今天使用Flask搭建服务端进行模型推理，在使用TensorRT进行推理模型时出现如下错误： line 39, in allocate_buffers stream = cuda.Stream() # pycuda 操作缓冲区 pycuda._driver.LogicError: explicit_context_dependent failed: invalid device context - no currently active context? 网上查了，说是...
【tensorrt】——flask部署tensorrt报错：[TensorRT] ERROR: CUDA cask failure at execution for trt_maxwell_scudn
怡宝2号
01-12 858
1. 问题 报错： [TensorRT] ERROR: CUDA cask failure at execution for trt_maxwell_scudnn_128x64_relu_small_nn_v1. [TensorRT] ERROR: cuda/caskConvolutionLayer.cpp (355) - Cuda Error in execute: 400 (invalid resource handle) [TensorRT] ERROR: cuda/caskConvolutionLa
深度学习部署：Triton（Triton inference server）【旧称：TensorRT serving，专门针对TensorRT设计的服务器框架，后来变为Triton，支持其他推理后端】
u013250861的博客
08-01 2201
一般来说，我们都是从最主要的server开始编，编译的时候会链接core、common、backend中的代码，其他自定义backend（比如tensorrt_backend）在编译的时候也需要带上common、core、backend这三个仓库，这些关系我们可以从相应的CMakeList中找到。官方也提供了客户端，C++和python的都可以有，可以直接使用官方的，也可以根据官方提供的http协议构造自己的客户端，只要会构造body，一切都很简单。就可以发送请求，结果也会传回response里。
[tensorrt实践] 官方demo采坑
qqsuiying的博客
06-16 1167
这里的demo指的是在理论中提到的官方demoNVIDIA/trt-samples-for-hackathon-cn: Simple samples for TensorRT programming (github.com)测试环境：我目前测了两个部署环境jetson xavier AGX， python3.6.9+tensorrt7.1.3.0+cuda10.2 直接使用的nvidia官方固件中预装的tensorrt和python3x86平台 ，intel 10900K+RTX3080，python3.7
YOLOv5(PyTorch)目标检测实战：Flask Web部署
10-27
PyTorch版的YOLOv5是轻量而高性能的实时目标检测方法。利用YOLOv5训练完自己的数据集后，如何向大众展示并提供落地的服务呢？   本课程将提供相应的解决方案，具体讲述如何使用Web应用程序框架Flask进行YOLOv5的Web应用部署。用户可通过客户端浏览器上传图片，经服务器处理后返回图片检测数据并在浏览器中绘制检测结果。   本课程的YOLOv5使用ultralytics/yolov5，在Ubuntu系统上做项目演示，并提供在Windows系统上的部署方式文档。 本项目采取前后端分离的系统架构和开发方式，减少前后端的耦合。课程包括：YOLOv5的安装、 Flask的安装、YOLOv5的检测API接口python代码、 Flask的服务程序的python代码、前端html代码、CSS代码、Javascript代码、系统部署演示、生产系统部署建议等。   本人推出了有关YOLOv5目标检测的系列课程。请持续关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统 https://edu.csdn.net/course/detail/30793 Windows系统 https://edu.csdn.net/course/detail/30923 《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428 《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31087 《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》https://edu.csdn.net/course/detail/32303
FlaskApp：使用Flask部署深度学习模型
02-12
总结，FlaskApp项目展示了如何利用Flask框架部署深度学习模型，使得模型可以通过Web接口供用户使用。通过创建路由处理HTTP请求，结合HTML和JavaScript实现用户交互，我们可以轻松地构建一个功能完备的Web应用，将...
flask预测-模型部署
最新发布
03-29
总的来说，"flask预测-模型部署"涉及到将训练好的模型封装到Flask应用中，创建API接口供外部调用，处理请求、进行预测、返回结果，以及考虑安全性、性能优化和运维监控等多个方面。通过Flask，我们可以轻松地将机器...
TENSORRT 轻松部署高性能DNN推理
01-14
TensorRT 是 NVIDIA 推出的专门加速深度学习推理的开发工具。利用 TensorRT， 您可以快速、高效地在 GPU 上部署基于深度学习的应用。 我们首先会介绍 TensorRT 的基本功能和用法，例如它的优化技巧和低精度加速。其次， 结合我们实际使用过程中的经验，详细介绍 TensorRT 的难点：Plugin 机制。最后，我们会分享几个 TensorRT 成功应用案例
tf_flask:如何使用Flask部署多个TensorFlow模型
05-09
在本文中，我们将深入探讨如何使用Flask框架部署多个TensorFlow模型。Flask是一个轻量级的Python Web服务器网关接口（WSGI）应用框架，它允许开发者快速地搭建Web应用。而TensorFlow则是一个强大的开源机器学习库，...
TensorFlow_Flask:在Python中使用Flask部署TensorFlow模型
05-11
在Python中使用Flask部署TensorFlow模型 开发环境： Ubuntu 18.04 的Python 3.6.8 Tensorflow 1.14.0 首先，确保TensorFlow对象检测API正常工作。（ ） 让我们从官方的对象检测演示Jupyter Notebook（模型/...
Flask部署模型.docx
10-22
【Flask部署模型】文档主要介绍了如何使用Flask框架来搭建轻量级的图像识别服务器。Flask是一个基于Python的Web应用框架，以其轻量级、灵活和可扩展性著称，非常适合开发中小型项目。在本文档中，我们不仅会深入理解...
YOLOv5(PyTorch)目标检测实战：TensorRT加速部署
03-24
PyTorch版的YOLOv5是高性能的实时目标检测方法。 TensorRT是针对英伟达GPU的加速工具。本课程讲述如何使用TensorRT对YOLOv5进行加速和部署。   本课程的YOLOv5使用ultralytics/yolov5，分别在Ubuntu和windows10系统上做TensorRT加速和部署演示。课程内容包括：原理篇（YOLOv5网络架构与组件、TensorRT基础、TensorRT INT8量化、tensorrtx介绍、CUDA编程方法）、实践篇（Ubuntu和Windows10系统上的TensorRT部署演示）、代码解析篇（YOLOv5的TensorRT加速的代码解析） 。本课程提供注释后的YOLOv5的TensorRT加速代码。 除本课程《YOLOv5(PyTorch)目标检测实战：TensorRT加速部署》外，本人推出了有关YOLOv5目标检测的系列课程。请关注该系列的其它视频课程，包括：《YOLOv5(PyTorch)目标检测实战：训练自己的数据集》Ubuntu系统：https://edu.csdn.net/course/detail/30793Windows系统：https://edu.csdn.net/course/detail/30923《YOLOv5(PyTorch)目标检测：原理与源码解析》https://edu.csdn.net/course/detail/31428《YOLOv5(PyTorch)目标检测实战：Flask Web部署》https://edu.csdn.net/course/detail/31140
AI模型部署服务搭配【①、triton server + TensorRT/Libtorch；②、Tensorflow Server；③、flask + Pytorch】
u013250861的博客
05-08 890
常见的服务部署搭配 triton server + TensorRT/libtorch flask + Pytorch Tensorflow Server 参考资料： 一文详解AI模型部署及工业落地方式
tensorRt加速tensorflow模型推理（inception V3为例）
鱼香土豆丝
12-08 7707
摘要 在一个人工智能大爆发的时代，一个企业不来点人工智能都不好意思说自己是科技企业。随着各公司在各自领域数据量的积累，以及深度学习的强拟合特点，各个公司都会训练出属于自己的模型，那么问题就来了，你有模型，我也有模型，那还比什么？对，就是速度，谁的速度快，谁就厉害。 引言 tensorflow作为谷歌开源的深度学习神器，被学界以及业界广泛的推广，人们往往在模型迭代指定次数后，保存一次checkpoi...
flask部署nlp模型
05-12
要部署一个基于Flask的NLP模型，需要以下步骤： 1. 获取必要的库和依赖项： 您需要安装Flask和NLP库（如spaCy或NLTK），以便您能使用这些库来处理从用户输入或API请求收到的数据。 2. 创建Flask应用程序： 在Flask...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

城南皮卡丘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值