探索发现：自绘DETR结构图 一、 前言最近在看transformer相关的模型，其中vit还好，结构简单，decode与位置编码都没有。看到DETR才觉得比较“齐全”，该有的都有了。怕以后忘记，画个图，帮助记忆，顺便抛砖引玉，如有错误欢迎各位大佬指正。二、 结构图根据官方代码画的，最好是结合代码观看，再结合下面这张图看就更加好理解了。上图是每个encode、deconde模块内部的情况。...
探索发现：记一次深度图像处理的经历 一、 前言2021年底，领导给了个tof模块，要求基于此开发一个演示程序，实现3D人脸识别的功能。当时听他说出3D人脸识别就有点头疼，第一是想自己之前没接触这样的项目；第二是在想3D人脸数据相比于2D人脸数据，恐怕没后者那么多。基于快速开发出产品以及自身能力的想法，向领导建议使用2D+技术路线，即采用rgb图做人脸识别，采用深度图做真假脸识别，领导同意了。rgb图用到的就是些网上开源、成熟的模型，如retinaface、mobileface，这部分不是今天的主题，也没什么好说的，网上博客大把。主要说说深
探索发现：shufflenet 中 shuffle 操作板端部署的可行性 一、前言之前使用shufflenet-nanodet时，思考过它里面的shuffle op的部署，因为很多开发板不支持5 维 tensor，所以python中的shuffle方式，是没法继续使用的，所以就要用其他的思路来做。去年事情多，一直没有空把这个心得记录下来，现在有空了，特此记录，方便自己并抛砖引玉，如有错误，还请指出，谢谢！二、试验（一）思路shufflenet的代码来自nanodet，至于它是否与原版一致，我没去比较。上文说过的，python的shuffle方式没法用，乍一看可能觉得没法
海思开发：Nanodet ： onnx -＞ caffe -＞ nnie 一、前言应网友所托，帮忙转换 nanodet 模型（注：原版 nanodet 上采样是线性插值法，海思中不支持，换成反卷积了），花了一天多时间思考与尝试，终于搞定它，过程如下。二、主要过程仔细想了下，其实 nanodet 并没有什么生僻的 op，全部是很普通的、常见的那种，但是它们的组合方式以及数据的shape太令人难受了，下面我截图展示一下。1. split 不支持这里说一下，onnx 的 split 在 caffe 里面是 slice，slice 相关博客。相关代码如下：# onnx2ca
菜鸟落泪：Failed to export an ONNX attribute ‘onnx::Gather‘ 报错 一、前言最近在转 mobilenet v3 （pytorch -> onnx）的时候，遇见报错：RuntimeError: Failed to export an ONNX attribute 'onnx::Gather', since it's not constant, please try to make things (e.g., kernel size) static if possible网上搜了一下，发现要么很麻烦，要么不适用，看报错内容，大致就是说，有个op的属性值不是常量。
海思开发：海思上对 relu6、hswish、h-sigmoid 移植的探索 一、前言最近在搞 mobilenet v3，v3有两个非线性函数：hswish 和 h-sigmoid，二者都用到了relu6,之前都是把它们替换，因为海思没有现成的relu6。当时就在想，能否利用现有op，组合成想要的relu6出来了？ 这个想法在脑子里徘徊几天了，今天试着给它变现，结果如下。
海思开发：relu、relu6 在量化前后的精度变化及原因思考 一、前言以前部署 HopeNet 的时候，发现了relu6与relu的差异。具体就是 relu 模型量化后精度下降 14%，relu6 模型量化后精度下降 2.5%。这两个模型除了 backbone、激活函数不一样，其他都一样。所以 relu6 可以减少量化精度损失？因为上面两个模型backbone不一样，所以考虑再进行一个条件更严格的对比实验。二、实验特意选了 MobileNet v2，它的激活函数刚好是 relu6，数据集类别数是 2，数据集大小为正负类各 500个。我们训练两款模型 Mobile
探索发现：tensorflow转onnx时，输入无符号shape的情况解决。 一、前言如标题，有几次朋友遇到这种情况，所以我想看看能不能直接更改 onnx 模型的 input shape 来解决这种问题。这种情况目前全发生在 tensorflow -> onnx 过程中，pytorch 由于有 onnx 的导出官方 api, 所以没有此烦心事。二、代码先看看未修改前输入的无符号shape：很明显，本该是1的地方出现了几个乱七八糟的符号。但是怎么做呢？参考这个，在最下面处有解决方法。from onnx.tools import update_model_dimsi
菜鸟落泪：win10 离线安装 pytorch 及其所需依赖包 如题，亲测成功，所需依赖包为：certifi 2020.11.8cffi 1.14.4dataclasses 0.8future 0.18.0icc-rt 2019.0intel-openmp 2021.1.1mkl 2019.0mkl-fft 1.0.6mkl-ran
海思开发：yolo v5的 focus层 移植到海思上的方法 一、前言经网友提醒，yolo v2的 passthrough 层与 v5 的 focus 层很像，因为海思是支持 passthrough 层的，鉴于此，花了点时间了解了一下，提出一些浅见，抛砖引玉。二、区别上文我说的是，二者很像，说明它们还是有区别的，现在说说区别。1. passthrough 层出于严谨，结合海思文档图片与 passthrough 源码来一起理解，先看看 passthrough 源码：// 它的源码是 c++ 的，不是 python 格式int reorg_cpu(THFlo
海思开发：mobilefacenet 模型： pytorch -＞ onnx -＞ caffe -＞ nnie 一、前言最近有空，把之前的项目梳理记录一下，惠已惠人。二、详情人脸模型是在 pytorch 下训练的，工程文件用的是这个：MobileFaceNet_Tutorial_Pytorch训练完成之后，先转为onnx模型并做简化，代码如下：def export_onnx(): import onnx parser = argparse.ArgumentParser() #parser.add_argument('--weights', type=str, default=r'F:
海思开发：yolo v5s ：pytorch-＞onnx-＞caffe-＞nnie 一、前言主要是遇见几个问题，赶紧记录一下，免得后面兄弟们吃同样的亏。二、过程1. 报错：Reshape dimention number shall be 2 or 4仔细看了一下，和我 reshape 处理的数据维度有关，而转换代码里 reshape 最高支持维度数是 4。而我的数据shape 是 (1, 3, H, W, class_num + 5)，这是个五维数组。本来就想在后面加个条件 : len(shape) == 5，又怕出现新的错误，上网找了篇其他的转换代码，点进去看了下，发现
海思开发：python下转换图片为bgr_planner格式 前言模型转换后，性能多多少少都有点损失，为了评估肯定需要在海思上跑个数据集，但是海思的图片输入格式是bgr_planner格式，所以需要对图片做个格式转换。对于大神来说，直接全用c/c++完成，但本菜逼只能选择这种two-stage方式了。代码废话不多说，代码都是经过试验，确定能跑的通的。为了放心，特意还做了个试验，同一张图片用python转为bgr_planner格式，和用c++转为bgr_planner格式，再先后喂入人脸识别模型，最后的输出特征值差了0.05左右。import cv2impo
关注
