火鸡大师傅-CSDN博客

原创神经网络量化原理

一般来说，量化粒度越小，需要额外存储的量化系数就越多，比如针对卷积运算常见的 per-tensor/per-channel 量化，如下图所示，per-tensor 共享一组 (S, Z) 量化系数，而 per-channel 需要多组，提升了量化精度，但同时会一定程度增加量化后数据的大小。基于范围的近似，则需要统计待量化数据的分布，然后进行整体的缩放和偏移，再映射到量化空间，精度相对更高，但需要额外存储量化参数(如缩放系数、偏移等)，并且计算时需要先反量化，比定点近似更复杂。

2024-10-21 18:09:27 1725

原创高通AI Engine SDK（QNN）使用教程（环境配置、模型转换、量化、推理、分析）

高通AI Engine使用教程

2024-08-19 18:15:57 11288 1

原创为什么说转置卷积(Transposed Convolution)是通过卷积的反向传播(Backward Pass)来实现的

为什么说转置卷积(Transposed Convolution)是通过卷积的反向传播(Backward Pass)来实现的，理论推导。

2024-08-07 18:01:34 308

原创目标检测数据集COCO和VOC所含类别解析

VOC数据集有20个类别，分为交通工具/家具/动物/人四类。VOC 2007 有9963张图片，VOC 2012有12125张图片，一般两个一起用，一共22088张。

2024-01-18 17:12:12 3056 1

原创【注意力机制】加性注意力(Additive Attention)&缩放点积注意力(Scaled Dot-product Attention)

这种注意力方法是被提出来的，也被叫做Bahdanauz注意力。主要计算方法是将h和s先用两个参数矩阵（q*d）和（k*d）分别映射到d维，然后把他们相加（element-wise），经过一个tanh激活函数后，再与另一个参数矩阵W（也是d维）进行点积，最终得到注意力权重α（标量），随后需要用softmax进行归一化。李宏毅老师的讲解：王树森老师的讲解，这里是把两个参数矩阵和先拼接到了一起，然后对拼接好的输入向量进行点积，因为点积计算也是加性的，所以被叫做加性注意力。

2023-12-05 12:26:16 7642 1

原创【图神经网络&动作识别】【代码阅读】TMM 2023 TD-GCN (Temporal Decoupling Graph Convolutional Network)

模型的代码和CTR-GCN是一样的，不过里面用的核心图卷积模块不一样。else:else:TD-GCN对比CTR-GCN，代码上的唯一改动就是在核心模块上，将CTR-GC改成了TD-GC，而这一改动仅仅是通过类似的思路添加了一个Temporal-wise topology而得来的。作者在四个输入模态上进行测试，输入Joint的话，相比CTR-GCN有大约0.4~2%的提升。然后作者也做了一些简化，参数量有一点下降在手势识别数据集SHREC17'和DHG-14/28上达到了SOTA。

2023-11-29 17:47:31 870 2

原创【图神经网络&动作识别】【代码阅读】ICCV 2021 CTR-GCN(Channel-wise Topology Refinement Graph Convolution Network)

时间卷积其实就是1*n的二维卷积，作者在做时间卷积的时候，分了四个层次，分别是dilation为1,2,3,4，这样可以扩大感受野，四种感受野的结果被拼到一起，然后再用了1x1的卷积和maxpool模块，同时还添加了residual模块。在 TCN_GCN_unit 这个类里，还有一个residual模块，用了一个 unit_tcn，相当于不通过时空图卷积，直接用一个temporal的卷积来处理了。核心部分是CTR-GC，这部分在论文中的结构长这样。还添加了类似于ST-GCN的注意力权重mask。

2023-11-29 11:49:36 889 2

原创【图神经网络&动作识别】【论文阅读】 AAAI2018 时空图神经网络ST-GCN

这篇文章应该算是图神经网络&动作识别领域最早的文章之一了，作者提出一个“时空图卷积网络”来解决动作分类任务。

2023-11-28 17:55:32 437

原创【图神经网络&动作识别】【代码阅读】AAAI 2018 时空图神经网络ST-GCN

对每一个样本（N，T），模型的输出矩阵（K，V，C）需要与邻接矩阵A（K，V，W）做element-wise乘加，对于每一个节点W，他的相邻关系是一个矩阵（K，V），他的卷积核乘法输出是矩阵（K，V，C），这两个矩阵做element-wise相乘，最后再求和得到最终的输出向量（长度为C），就得到了这一个节点通过空间卷积核的输出（N，C，T，W）空间卷积的输出经过时间卷积之后，加上残差模块的输出，就得到了gcn模块的输出，这样的gcn模块一共有十个。那这两个节点的数值都是1/2，对应文章里的这个部分。

2023-11-28 17:15:43 275 1