给我推荐20个比较流行的部署深度学习模型的工具

最新推荐文章于 2024-06-11 09:43:13 发布
最新推荐文章于 2024-06-11 09:43:13 发布
阅读量176 收藏 1
点赞数
文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_35749796/article/details/129608987
版权
  1. TensorFlow Serving
  2. Apache MXNet Model Server
  3. NVIDIA TensorRT
  4. PyTorch Serving
  5. ONNX Runtime
  6. Flutter
  7. TensorFlow.js
  8. Deep Learning Platform
  9. Seldon
  10. Neuromation
  11. TensorFlow Lite
  12. Polyaxon
  13. Kubeflow
  14. Fiddler
  15. OpenVINO
  16. H2O.ai
  17. PredictionIO
  18. MLflow
  19. B
基鑫阁
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习04 -模型管理
奔跑的蜗牛
10-10 427
【代码】深度学习入门04 -模型管理。
深度学习模型部署与剪枝优化实例.rar
01-11
深度学习模型部署与剪枝优化实例视频教程下载。深度学习模型部署与剪枝优化实例课程旨在帮助同学们快速掌握模型部署与优化方法。 主要包括两大核心模块： 1.基于深度学习框架PyTorch与Tensorflow2版本演示模型部署方法，使用docker工具简化环境配置与迁移问题； 2.详解经典剪枝与模型设计论文并基于实例进行演示。 整体风格通俗易懂，用最接地气的方式带领同学们快速掌握部署方法与优化实例。
深度学习模型部署(十)模型部署配套工具二
qq_45983373的博客
03-15 494
tensorRT提供的模型优化工具和性能分析工具
[AI算法][模型部署]：深度学习模型部署（已更Pytorch篇）
Bin_Dut的博客
11-18 9353
模型部署总结，在更...
一文详解几种常见本地大模型个人知识库工具部署、微调及对比选型（文末福利）
最新发布
瓦罗兰特顶级C位的博客
06-11 1897
近年来，大模型在AI领域崭露头角，成为技术创新的重要驱动力。从AlphaGo的胜利到GPT系列的推出，大模型展现出了强大的语言生成、理解和多任务处理能力，预示着智能化转型的新阶段。
深度学习端上部署工具
AI吃大瓜的博客
12-14 775
深度学习端上部署工具 tvm caffe2 pytorch-mobile tf-lite paddle-lite tensorRT ncnn（腾讯） mace（小米） mnn（阿里） tf-lite tensorflow，开源 tesnorflow checkpoint/bp/fronzen graph Android/ios/arm64 通用性最强，与 tensorflow 适配完美，不过性能一般 roadmap 中预计年底将实现对..
深度学习模型部署综述（ONNX/NCNN/OpenVINO/TensorRT）
CV_Autobot的博客
01-12 4377
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取今天自动驾驶之心很荣幸邀请到逻辑牛分享深度学习部署的入门介绍，带大家盘一盘ONNX、NCNN、OpenVINO等框架的使用场景、框架特点及代码示例。如果您有相关工作需要分享，请在文末联系我们！>>点击进入→自动驾驶之心【模型部署】技术交流群后台回复【模型部署工程】获取基于TensorRT的分类、检测任务的部署源码！费尽心...
利用这些“大模型部署工具”轻松部署属于你自己的AIGC大模型吧！
weixin_59191169的博客
04-07 1244
该工具由Fitten与清华大学联合开发，当前支持4个语言大模型，具体包括：ChatGLM、盘古、ChatRWKV、LLaMA。该工具链支持多种硬件设备，除了支持主流的NVIDIA、AMD、Ascend硬件外，还支持天数智芯、中科海光和摩尔线程的硬件设备！InferLLM 是一个非常轻量的 LLM 模型推理框架，主要参考和借鉴了 llama.cpp 工程，llama.cpp 几乎所有核心代码和 kernel 都放在一两个文件中，并且使用了大量的宏，阅读和修改起来都很不方便，对开发者有一定的门槛。
想快速开发和部署深度学习模型？推荐一个硬核工具
百度大脑
10-14 5676
在数字化浪潮下，人工智能成为企业实现降本增效的有效途径。 例如，工业生产制造企业中产品的质检工作通常依赖人力完成，作为商品出厂前的最后一道工序，要求质检人员具备高度的专业性与专注度。 借助人工智能的力量，将计算机视觉与机械臂相结合，打造瑕疵智能识别+残品自动分拣的解决方案，有效减轻了一线质检人员的压力。 然而，传统意义上的人工智能转型，不仅需要海量数据的积累，对企业算法人员的技术水平、业务理解能力等多个方面也往往有较高的要求。因此，AI应用的高门槛与高成本，让大批中小型企业与初创企业的AI转型之路难上
C#调用OpenVINOTM部署Al模型项目源码，C#调用Intel推出的 OpenVINO工具套件，进行深度学习
02-29
C#调用OpenVINOTM部署Al模型项目开发项目，简称OpenVinoSharp，这是一个示例项目，该项目实现在C#编程语言下调用Intel推出的 OpenVINO 工具套件，进行深度学习等Al项目在C#框架下的部署。该项目由C++语言编写Open...
超方便深度学习Pytorch框架环境部署包
12-05
对于深度学习部署，这个环境可能也包含了必要的库，如TorchScript，它是PyTorch的序列化和优化工具，用于模型的生产环境部署。TorchServe或ONNX Runtime等服务框架可能也已配置好，以便将训练好的模型部署到服务器...
基于深度学习模型的文本情感分析WSGI应用.zip
02-19
在文本情感分析中，常用的深度学习模型包括循环神经网络（RNN）、长短时记忆网络（LSTM）、门控循环单元（GRU）以及最近非常流行的Transformer模型。这些模型能够捕捉到文本中的长期依赖关系，从而更准确地理解语义...
OpenVINO Toolkit - 深度学习部署工具集-python
06-18
C++ 推理引擎 API 来部署预训练的深度学习模型。 这个开源版本包括两个组件：即模型优化器和推理引擎，以及 CPU、GPU 和异构插件，以加速英特尔:registered: CPU 和英特尔:registered: 处理器显卡上的深度学习推理。...
通用深度学习推理工具，可在生产环境中快速上线由TensorFlow、PyTorch、Caffe框架训练出的深度学习模型。.zip
01-13
本资源包针对通用深度学习推理工具的使用，旨在帮助用户在生产环境中快速部署由TensorFlow、PyTorch、Caffe等主流框架训练出的深度学习模型。 首先，TensorFlow是Google开发的一款开源库，广泛应用于机器学习和深度...
MLC LLM：将大模型运行在手机端的部署工具
小鹏AI
05-01 4066
MLC LLM依赖于开源生态系统，更具体地说，是 TVM Unity，这是 TVM 项目中一个令人兴奋的最新发展，它支持 Python 优先的交互式 MLC 开发体验，使我们能够轻松地用 Python 编写新的优化，并逐步将我们的应用带到感兴趣的环境中。利用优化，如融合量化内核，一流的动态形状支持和不同的 GPU 后端。提供了一个轻量级的基于 C + + 的示例 CLI 应用程序，它展示了如何包装已编译的构件和必要的预/后处理，这将有望澄清工作流程，以便将它们嵌入到本地应用程序中。
【工程应用】深度学习推荐模型的上线部署
qq_36643449的博客
05-09 780
对于推荐模型的离线训练，无论是TensorFlow，PyTorch，还是传统一点的Spark MLlib都提供了比较成熟的离线并行训练环境。但推荐模型终究是要在线上环境进行inference的，如何将离线训练好的模型部署于线上的生产环境，进行线上实时的inference，其实一直是业界的一个难点。本篇文章是几种可行的推荐模型线上serving方法。 一、自研平台 无论是在数年前深度学习刚兴起的时代，还是TensorFlow，PyTorch已经大行其道的今天，自研机器学习训练与上线的平台仍然是很多大中型公司的
用LM Studio：2分钟在本地免费部署大语言模型，替代ChatGPT
热门推荐
weixin_39108752的博客
01-10 1万+
你想在本地使用类似ChatGPT 的大语言模型么？LM Studio 可以帮你2分钟实现ChatGPT的功能，而且可以切换很多不同类型的大语言模型，同时支持在Windows和MAC上的PC端部署。LM Studio是一款面向开发者的友好工具，特别适合那些想要探索和使用大型语言模型的人。无论是出于专业开发的需要，还是仅仅为了体验和玩转各种API，LM Studio都提供了一个简便、高效的解决方案。使用LM Studio不需要深厚的技术背景或复杂的安装过程。
深度学习 | 工具及实践（TensorFlow）
Joselynzhao
05-05 781
工具及实践（TensorFlow）tensorFlow 基础：概念与编程魔心深度学习工具包TensorFlow 简介TensorFlow易于学习TensorFlow与pythonTensorFlow 机器学习编程框架TensorFlow线性回归Eager Execution总结 tensorFlow 基础：概念与编程魔心 深度学习工具包 手写深度学习： 编程难度大 对非科研人员不友好 标注无法统一...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值