Python DenseNet OpenVino打包

最新推荐文章于 2024-08-05 00:26:21 发布
最新推荐文章于 2024-08-05 00:26:21 发布
阅读量173 收藏 2
点赞数 9
文章标签： python openvino 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34524246/article/details/140913934
版权

Python OpenVino打包

什么是OpenVino

这里接着贴一下官方的说明:

  • OpenVINO™ 工具套件是一款开源工具套件，可以缩短延迟，提高吞吐量，加速 AI 推理过程，同时保持精度，缩小模型占用空间，优化硬件使用。 它简化了计算机视觉、大型语言模型 (LLM) 和生成式 AI 等领域的 AI 开发和深度学习集成。

我们可以简单的理解：

  • intel提供了一个方法，帮助你降低使用AI模型的门槛
  • 降低系统硬件的需求：通常AI模型使用GPU但是对于大多数场景，GPU是一个比较奢侈的东西，但常规的Tensorflow、Pytorch在CPU上直接跑，只能达到一个能用水平
  • 方便集成：通常AI在Python上是无缝全栈，但是大多数业务系统可不是用CPP开发的，需要有框架进行中转
  • 等等

Python程序的打包方式

这里介绍pyinstaller的打包方式，至于为什么不使用nuitka这里简单说明一下，Py版本的OpenVINO使用了部分Pytorch的API，所以这些nuitka会识别失败，一直在编译Pytorch的相关代码，导致编译出20GB+的dist，并且无法运行，所以使用Pyinstaller

  1. 使用打包语句，注意不要打包为单体
   pyinstaller .\TestInferDense.py -D -p 工程路径
  1. 由于打包器的识别问题，开始手动修复包依赖
  2. 进入openvino包安装目录: D:\Projects\p2024-alg-docker\venv\Lib\site-packages\openvino\libs
    拷贝所有动态库到：D:\Projects\p2024-alg-docker\FundsGrade\Densenet121-5\py-openvino-without-optimize\dist\TestInferDense\_internal\openvino\libs
  3. 剩下的就是常规测试文件拷贝到_internal:
    • 1.jpg
    • export_dense121_cpu.xml
    • export_dense121_cpu.bin

受限于打包失误问题，上述操作后dist文件夹大小4.7GB, 需要手动删除pytorch内容

  • _internal/torch, torch-xxxx.dist
  • _internal/torchvision, torchvison-xxx.dist
  • _internal/torchaudio, torchaudio-xxx.dist

删除以上内容dist大小变化为712MB

tacom_
关注
  • 9
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python实现通过OpenVINO中的POT工具，将ResNet50模型转为INT8格式
02-29
项目主要功能实现通过OpenVINO中的POT工具，将ResNet50模型转为INT8格式。 2. 源码实现 项目实现源码已经放置在python文件夹下，获取源码后，对以下位置进行修改： 模型信息 model_config = Dict({ 'model_...
pp-ocrv2 python openvino部署代码
04-26
1、pp-ocrv2 openvino部署代码 2、包含检测、方向分类、文本识别代码 3、包含示例图片 4、检测模型为DBNet，文本识别模型为CRNN+CTC 5、包含PaddleOCR官方提供的导出后静态图模型 6、不需要额外安装包，直接使用即可...
Python DenseNet OpenVino推理
qq_34524246的博客
08-04 90
OpenVINO推理
Cpp DenseNet OpenVino测试
最新发布
qq_34524246的博客
08-05 63
Cpp OpenVino集成前测试DenseNet的导出
Cpp DenseNet OpenVino导出
qq_34524246的博客
08-05 64
CPP OpenVINO导出DenseNet
模型部署-什么是模型部署？
Alexa_的博客
06-16 1169
但最好还是多点开花并且可以形成自己的一套端到端的方法论，除了明确模型优化部署的任务和上下游关系，更要从业务角度去推进优化的工作，即做到一种全栈式的发展，随便给你一个业务或者产品形态，可以快速的针对特定的硬件或者算法模型找出适配的一套最佳优化方案（人力成本，效率迭代等），这才是做这个方向的最终目的，这也是大多数公司比较稀缺的。如果仅仅停留在关注部署或者优化的某一个技术栈，而不是用端到端业务全流程的角度看问题，最终可能就是成为工作比较枯燥的工具人，技能也不会得到很好的锻炼。从训练框架得到模型后，
主流深度学习框架及神经网络模型汇总
ZJQ的博客
08-27 7924
用大白话说就是是一个中间件，比如你PyTorch的模型想转换别的，就得通过ONNX，现在有的框架可以直接转，但是在没有专门支持的时候，ONNX就非常重要了，万物先转ONNX，ONNX再转万物。NCNN的速度是超过TFLite的，但是有点麻烦的是之前得经常自己用C去复现一些算子(框架起步都这样)，现在因为使用的人数很多，因此算子很多。同样的设备，MNN的部署速度是非常快的，树莓派3B上cpu的加速是NCNN速度的3被以上，而且文档非常的全，代码整洁清晰，非常适合开发者使用。对下图左，标注为人，羊，狗，草地。
机器人操作系统、自动驾驶等研发工具整理
参谋谋的博客
05-25 2568
Awesome Robotic Tooling Communication and CoordinationDocumentation and PresentationRequirements and SafetyArchitecture and DesignFrameworks and StacksDevelopment EnvironmentCode and RunTemplateBuild and DeployUnit and Integration TestLint and FormatDebugg
深度学习大模型学习100tips
热门推荐
xw555666的博客
11-07 1万+
通过深入了解这些细节，并在实际项目中应用相关的知识，将能够更好地理解和利用大模型的潜力，不仅在学术研究中，也在工程实践中。通过不断探索新方法、参与项目和保持热情，并将其应用于各种领域，从自然语言处理到计算机视觉和自动驾驶。通过不断学习、实践和探索，可以不断提升自己在深度学习领域的技能和洞察力，同时也能为社会和行业带来创新和改进。从小规模的项目和模型开始，逐渐迭代和扩展到更大的模型，逐步积累经验，最终能够处理大模型和复杂任务。分享您的研究成果和代码，以获得反馈和建立声誉。
Python库 | openvino2tensorflow-1.2.0.tar.gz
04-12
资源分类：Python库 所属语言：Python 资源全名：openvino2tensorflow-1.2.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | openvino_colab-2.0.0.tar.gz
04-12
资源分类：Python库 所属语言：Python 资源全名：openvino_colab-2.0.0.tar.gz 资源来源：官方 安装方法：https://lanzao.blog.csdn.net/article/details/101784059
Python库 | openvino2tensorflow-1.9.1.tar.gz
03-09
《Python库：openvino2tensorflow-1.9.1》 在当今的计算机视觉和人工智能领域，模型转换工具起着至关重要的作用。OpenVINO（开放视觉推理和神经网络优化）是由Intel开发的一个高性能的推理平台，它允许开发者将深度...
【Python】pandas：排序、重复值、缺省值处理、合并、分组
yannan20190313的博客
07-30 1171
【Python】pandas：排序（sort_index,sort_values,nsmallest,nlargest）、重复值（duplicated,drop_duplicates,value_counts,nunique）、缺省值处理（isna,isnull,notna,notnull,fillna,dropna,replace）、合并（join,merge,append,concat）、分组（groupby）
Python爬虫与MongoDB的完美结合
weixin_52392194的博客
08-03 441
我们掌握了在Windows和Linux系统下安装MongoDB，设计适合爬虫存储数据的写入规范，并通过实际爬虫示例展示了如何将爬取到的数据存储到MongoDB中。此外，还进行了MongoDB性能优化，提高了数据存储和查询的效率。
Selenium与WebDriver：Errno 8 Exec格式错误的多种解决方案
ip16yun的博客
07-30 430
在使用Selenium和WebDriver进行网页自动化时，可能会遇到各种错误。其中一个常见问题是执行格式错误（Errno 8 Exec format error）。这个错误通常在运行ChromeDriver时出现，错误提示涉及路径中的某个文件。本文将概述这个问题的背景，并提供多种解决方案，包括如何使用代理IP技术进行数据抓取。
python字符串数据容器练习（replace,split,count）
2301_79600015的博客
07-31 499
Python字符串是由一系列字符组成的数据类型。在Python中，字符串是不可变的，这意味着一旦创建了一个字符串，就不能修改它的内容。以下是关于Python字符串的一些重要知识点：1. 字符串的基本操作：拼接字符串：使用`+`运算符。重复字符串：使用`*`运算符。索引和切片：使用`[]`和`:`操作符访问字符串中的子串。长度：使用`len()`函数获取字符串长度。转换大小写：使用`upper()`和`lower()`方法。分割和连接：使用`split()`和`join()`方法。
loguru日志模块：简化Python自动化测试的日志管理！
07-29 877
日志是软件开发中的关键组成部分，为开发和测试人员提供了调试和监控应用程序的重要手段。loguru 是一个第三方的 Python 日志库，以其简洁的 API 和自动化的功能脱颖而出。本文将探讨为什么项目中需要日志，loguru 为何受到青睐，以及如何封装和在接口自动化测试项目中使用 loguru，同时结合 Allure 生成丰富的测试报告。
python 安装openvino
07-25
要在Python中安装OpenVINO，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了Python。建议使用Python 3.6或更高版本。 2. 下载OpenVINO Toolkit。您可以从Intel官方网站（https://software.intel.com/content/www/us/en/develop/tools/openvino-toolkit.html）下载适用于您的操作系统的安装程序。 3. 运行OpenVINO安装程序，并按照提示进行安装。在安装过程中，请确保选择安装Python支持。 4. 安装完成后，打开终端或命令提示符，并激活OpenVINO环境。在Windows上，可以运行以下命令： ``` cd C:\Program Files (x86)\IntelSWTools\openvino\bin\ setupvars.bat ``` 5. 环境激活后，您可以使用pip安装OpenVINO的Python包。运行以下命令： ``` pip install openvino ``` 6. 安装完成后，您可以在Python脚本中导入`openvino`模块，并使用OpenVINO的功能了。 请注意，安装OpenVINO可能会涉及其他依赖项和配置。确保按照Intel官方文档提供的详细说明进行操作，并根据您的操作系统和硬件配置进行适当的设置。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值