- 博客(12)
- 收藏
- 关注
原创 我成功在云端部署了n8n AI工作流! 我的n8n云端部署“通关”实录:从0到1,收获HTTPS安全小锁!
本文记录了从零开始部署n8n开源自动化工作流引擎的完整过程。作者在云主机上安装了Ubuntu 22.04系统,使用Docker搭建环境,并详细分享了部署过程中遇到的四大关卡:基础环境搭建、Docker配置、应用容器启动和Nginx反向代理设置。重点介绍了HTTP验证失败后改用Cloudflare DNS验证获取SSL证书的解决方案,以及解决容器冲突、权限问题等实战经验。文章最后展示了成功访问HTTPS安全页面的成果,并预告将推出更详细的保姆级教程。整个部署过程充满挑战,但最终通过系统化调试成功完成。
2025-08-06 00:14:04
1365
原创 为什么我们需要部署(一):PyTorch, TorchScript与ONNX的深度对决与技术选呈
本文通过严谨的实验对比了PyTorch原生模型、TorchScript和ONNX三种部署方案的性能表现。作者设计了"铁人三项"测试,从推理速度、模型体积和通用性三个维度进行评估。实验采用统一的测试环境(RTX 1050 Ti GPU)和标准化的测量方法,包括预热处理、同步计时和多次平均等技术手段。测试结果显示,TorchScript和ONNX在推理速度上都优于原生PyTorch,其中ONNX Runtime表现最佳,平均推理耗时比原生PyTorch快约40%。模型体积方面,ONNX格式的
2025-07-21 23:26:54
1055
原创 Agent, MCP, Function Calling... AI圈“黑话”大揭秘!
AI领域新概念层出不穷,本文通俗易懂地解析了三个热门术语:Agent是连接用户、AI模型和外部工具的"智能管家";Function Calling是AI调用工具时遵循的标准化指令格式;MCP则是规范工具接入的通用协议,类似USB接口标准。三者的关系可形象理解为:AI是大脑、Function Calling是工作流程、Agent是执行者、MCP是技术规范。掌握这些核心概念,就能在快速发展的AI领域保持清晰认知。(149字)
2025-07-18 10:34:06
884
原创 我用Kimi 2.0从0到1丝滑搭建了一个ChatGPT网站!现在AI模型真是太牛啦!
摘要:本文记录了作者使用Kimi 2.0从零搭建类似ChatGPT的AI聊天网站的过程。项目采用现代化技术栈:前端使用Vue3+Vite+ElementPlus,后端为Node.js服务,通过Ollama调用DeepSeek模型。文章详细介绍了项目的代码结构(含前后端目录)、一键部署脚本(setup.ps1)的实现方法,并展示了最终效果。作者指出在Kimi生成的代码基础上稍作修改即可实现流畅对话、自动滚动、Markdown渲染等功能,适合本地开发测试使用。(149字)
2025-07-16 20:23:41
2386
原创 小白部署不输·笔记(零):重新出发,我的AI部署学习路线
从PyTorch到C++容器化部署的技术探索之旅开启了新篇章。作者通过实践发现,单纯的研究脚本与生产级服务存在巨大鸿沟,涉及环境复现、性能瓶颈、资源浪费和跨语言集成等问题。模型部署的核心在于将实验室模型转化为高效、健壮的工业引擎,ONNX和TensorRT成为关键工具。TensorRT凭借NVIDIA生态优势,在算子融合、精度校准和核函数调优等方面展现强大优化能力。后续将深入C++ API实现,并重点优化数据流转环节,包括减少CPU-GPU传输开销、异步并行处理和零拷贝技术。这一系列将放缓节奏但加深内容,致
2025-07-10 17:29:10
969
原创 我的C++应用“入住”Docker历险记(下):最终的胜利与反思
本文记录了将C++应用部署到Docker容器的曲折历程。作者首先遇到CUDA版本不兼容问题(程序需要11而环境是12),调整到CUDA 11.8后却出现反向报错。通过深入调查ONNX Runtime官方文档,发现其v1.18版本实际依赖CUDA 12的核心库。最终采用两阶段Docker构建方案:在CUDA 11.8环境下安装OpenCV、cuDNN 8和cuBLAS 12.1,成功实现高速推理(7毫秒/次)。这一过程揭示了深度学习部署中版本依赖的复杂性,并提供了可复用的解决方案。
2025-07-08 11:47:11
789
原创 我的C++应用“入住”Docker历险记(上):从“Hello World”到“Hello, Error!”
《Docker部署AI模型的血泪史:从350倍加速到"依赖地狱"的奇幻漂流》 一位开发者将AI模型推理速度提升350倍后,却陷入Docker部署的"九重地狱"。文章生动记录了多阶段构建的优雅设想与残酷现实:网络超时、交互式安装卡死、动态库缺失等连环坑。尤其深刻的是"依赖地鼠游戏"——每解决一个.so文件报错,就会冒出新的依赖,最终发现根源在于CUDA版本不匹配的致命伤。作者最终总结出一套稳健方案:在runner阶段用apt-get明确安装所有运行时
2025-07-08 01:26:29
2075
原创 AI部署探索(次终章): 我用C++给AI模型换了个“涡轮增压”引擎!从2.5秒到7毫秒的性能优化之旅!
《从Python到C++:AI模型部署的350倍化性能优之旅》 本文详细记录了一个AI模型从Python迁移到C++部署的全过程。作者首先克服了环境配置和代码兼容性等初始障碍,确保模型正确运行。随后通过性能分析发现预处理函数是瓶颈,采用OpenCV优化函数将其解决。深入研究发现GPU存在"冷启动"现象,首次推理需15.6秒初始化,但后续推理仅需7毫秒,最终实现350倍的性能提升。文章总结了使用正确工具、理解硬件特性和系统化调试的重要性,并预告下一步将探索容器化和前后端分离部署,迈向生产级
2025-07-05 14:18:41
1054
原创 AI部署探索 (Day 4): 从ONNX文件到全栈Web应用,我的模型“活”起来了!
本文记录了一个AI模型从静态文件到交互式Web应用的全栈开发过程。作者首先使用FastAPI构建高性能后端服务,通过生命周期管理实现模型常驻内存,并设计了清晰的API接口。随后开发原生前端界面,解决模型输出与前端显示的关键坐标对齐问题。整个过程涉及API设计、跨域通信、用户体验优化等环节,展现了AI部署的系统工程挑战。最终实现了一个可实时交互的医疗影像分割应用,为后续容器化部署奠定基础。
2025-07-02 14:50:47
944
原创 副业探索日志 Day 3:ONNX推理成功,以及我从三天踩坑中学到的4个血泪教训
摘要: 作者分享了AI模型部署中解决ONNX模型权重加载问题的过程。通过严谨的调试,发现原模型因strict=False参数导致权重静默加载失败,最终修正代码成功导出功能一致的ONNX模型。关键修复包括:1)明确加载字典中的'state'权重;2)使用strict=True确保完整性。验证显示PyTorch与ONNX输出差异仅为0.000025。文章总结了四大经验:严格验证基线模型、重视细节日志、建立系统调试流程、慎用strict=False。下一步将转向实际部署应用开发。该案例凸显了AI工程化中精细化验证
2025-07-01 15:05:41
1966
原创 我的模型部署后“疯了”?Day 2的踩坑与破案之旅
摘要:本文记录了AI模型部署的实战过程。作者成功将PyTorch模型转换为ONNX格式并在ONNX Runtime中运行,但输出结果异常模糊。通过建立"黄金标准"测试,确认问题出在模型转换环节。文章锁定两个关键排查点:动态归一化预处理和自带Sigmoid的输出层,并列出次日三大调试任务。这场技术侦探故事展现了从失败中定位问题的系统方法,为模型部署中的常见难题提供了实用排查思路。
2025-07-01 00:51:12
427
原创 算法的星辰大海之后,路在何方?我的AI模型部署自救之路
《AI算法工程师的副业探索:从实验室到生产线的转型之路》 一位刚毕业的AI硕士"炼丹师"在职业十字路口选择转型模型部署领域,开启为期一个月的技术实践系列。作者将以医学图像分割模型U-Net为例,记录从PyTorch实验代码到生产级容器化服务的完整转型过程,涵盖模型转换、C++重构、性能优化和Docker封装等关键技术环节。这一选择源于对算法内卷的反思,以及对可持续职业发展路径的追求——希望通过积累工程化部署经验,构建抵御技术迭代风险的护城河,同时实现工作与生活的平衡。系列博客既是个人成长
2025-06-29 22:38:59
340
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅