专ai模
文章平均质量分 92
慷仔
这个作者很懒,什么都没留下…
展开
-
你或许也想拥有专属于自己的AI模型文件格式(推理部署篇)-(9)
1、前言本次的进展内容:本次文章的主要内容:3、InferenceDebugByCpu调试推理接口3.1、调用流程具体的调用流程示例如下所示:3.2、实现细节具体的调用流程示例如下所示:4、cpu_run调试推理部分如何从cl核函数转换4.1、关于opencl的cl核函数说明cl核函数内部遵循了C99编程语言标准,内部的代码跟C语言一致;cl核函数内部的逻辑只代表一个工作项的所有工作,具体的循环是靠外部调用clEnqueueNDRangeKernel函数时设置的globalWorkSi原创 2022-07-08 16:17:19 · 410 阅读 · 0 评论 -
你或许也想拥有专属于自己的AI模型文件格式(推理部署篇)-(8)
《你或许也想拥有专属于自己的AI模型文件格式》这个系列,上一次的文章更新是2022-03-05,距今已经4个月之久了。主要是这段时间有其他的事情在忙,期间也在断断续续地在完善该推理框架的。而让我思绪卡死的地方就是整网的推理时事件依赖问题,这个问题主要是因为OpenCL的clEnqueueNDRangeKernel这个核函数推理函数的局限性问题(正文仔细说明)。本次的进展内容:本次文章的主要内容:目前的工程整体结构:2、有向图重排网络层2.1、重排的原因和目的模型的网络层顺序是乱序的:我们自定义的模型原创 2022-07-07 17:44:20 · 550 阅读 · 0 评论 -
你或许也想拥有专属于自己的AI模型文件格式(推理部署篇)-(7)
距离上次的文章,已经有一个月之久了。要是再不继续推进,那么我17个粉丝又要催更了(纯属本人瞎说,实际情况是没人催更)。今天就少扯皮了,直接开淦吧!上次的文章中,说明了如何在C++代码中解析我们的专AI模模型文件格式,大概的思路无非和构建模型的时候是反着进行的。因为这份模型文件格式是完全由flatbuffers进行解析的,因此,解析的过程是一场清晰明了的。而之所以解析模型文件,主要是这样我们就能够实现专AI模的跨平台传送,构建好的模型能够无差异地在各...原创 2022-03-05 20:59:06 · 2375 阅读 · 0 评论 -
你或许也想拥有专属于自己的AI模型文件格式(推理部署篇)-(6)
如果有新的观众,如有疑惑,请从《专ai模》这个专栏从头开始阅读。特别是想要彻底搞清楚深度学习中模型的起源,以及如何一步一步构建自定义模型格式的观众来说,除了可视化篇,前面的三章必须要仔细阅读。而为什么我又有雅致来开启《推理部署篇》呢?主要原因是,目前个人野心有点大,想要从零构建一整套关于推理部署的工具链吧。也就是向着推理引擎的方向努力吧。特别是自从上次结束了《可视化篇》,总感觉意犹未尽。因此,全新的篇章开启了,该篇章的文章数可能会控制在10篇以下吧。不...原创 2022-02-15 20:24:00 · 911 阅读 · 0 评论 -
你或许也想拥有专属于自己的AI模型文件格式(可视化篇)-(5)
太久才来写这个专栏的第五篇,不是我鸽了,是想要测试我那两位数粉丝有没有催更的可能,结果是显而易见的——没有!好吧,其实是可视化篇比较难,花费了比较多的时间去编写代码适配专ai模,尤其是代码调试难度高,导致花费了很多时间精力去配置调试环境,熟悉vscode对于javascript的调试。本篇章将会讲述如何可视化我们的专属于自己的AI模型文件格式,特别是如何适配netron可视化工具。所以,对于可视化篇而言,或者就止步在这篇章了。这篇将会带你一起来可视化专ai模。 那么,就...原创 2021-12-24 18:15:00 · 669 阅读 · 7 评论 -
你或许也想拥有专属于自己的AI模型文件格式(可视化篇)-(4)
可视化篇来了,一起来用netron实现自定义模型格式的可视化吧!原创 2021-12-15 18:15:00 · 924 阅读 · 0 评论 -
你或许也想拥有专属于自己的AI模型文件格式-(3)
如果读者没有阅读过前两篇,或者想要再次回顾,以下是对应的链接:你或许也想拥有专属于自己的AI模型文件格式-(1)https://blog.csdn.net/Pengcode/article/details/121754272你或许也想拥有专属于自己的AI模型文件格式-(2)https://blog.csdn.net/Pengcode/article/details/121776674 前两篇文章,讲述了制作专属于自己的AI模型文件格式的初衷,写下了我们的需求,同时我们制定了...原创 2021-12-10 18:15:00 · 571 阅读 · 0 评论 -
你或许也想拥有专属于自己的AI模型文件格式-(2)
紧接着上次的工作,想要回顾或者查看上次内容可以点击以下的链接,链接如下所示:你或许也想拥有专属于自己的AI模型文件格式-(1)https://blog.csdn.net/Pengcode/article/details/121754272?spm=1001.2014.3001.5502 这次主要的内容是构建我们的专ai模的灵魂,也就是信息组成描述编写。通俗来说,就是定义一个数据协议,这些数据协议中包含了模型数据结构,这些数据结构是我们搭建整个模型的积木,或者说是包含了整个模...原创 2021-12-08 18:15:00 · 673 阅读 · 0 评论 -
你或许也想拥有专属于自己的AI模型文件格式-(1)
2021年前后,大量的推理框架和训练框架层出不穷;训练框架有较新的Pytorch、TensorFlow,和老的Caffe、Darknet等;推理框架中有各种国产的、开源的,特别是边缘设备上的框架Ncnn、Tengine等;另外,国产的CANN更是兼顾了训练和推理两方面。 但是,以上所有的框架基本是拥有一种专属于自己的模型文件。比如caffe由.prototxt和.caffemodel文件组成,darknet由.cfg和.weight文件组成,pytorch由.pt组成,te...原创 2021-12-07 08:00:00 · 889 阅读 · 0 评论