weixin_51031772的博客

一般来说，量化粒度越小，需要额外存储的量化系数就越多，比如针对卷积运算常见的 per-tensor/per-channel 量化，如下图所示，per-tensor 共享一组 (S, Z) 量化系数，而 per-channel 需要多组，提升了量化精度，但同时会一定程度增加量化后数据的大小。基于范围的近似，则需要统计待量化数据的分布，然后进行整体的缩放和偏移，再映射到量化空间，精度相对更高，但需要额外存储量化参数(如缩放系数、偏移等)，并且计算时需要先反量化，比定点近似更复杂。

高通AI Engine使用教程

为什么说转置卷积(Transposed Convolution)是通过卷积的反向传播(Backward Pass)来实现的，理论推导。

VOC数据集有20个类别，分为交通工具/家具/动物/人四类。VOC 2007 有9963张图片，VOC 2012有12125张图片，一般两个一起用，一共22088张。

这种注意力方法是被提出来的，也被叫做Bahdanauz注意力。主要计算方法是将h和s先用两个参数矩阵（q*d）和（k*d）分别映射到d维，然后把他们相加（element-wise），经过一个tanh激活函数后，再与另一个参数矩阵W（也是d维）进行点积，最终得到注意力权重α（标量），随后需要用softmax进行归一化。李宏毅老师的讲解：王树森老师的讲解，这里是把两个参数矩阵和先拼接到了一起，然后对拼接好的输入向量进行点积，因为点积计算也是加性的，所以被叫做加性注意力。

模型的代码和CTR-GCN是一样的，不过里面用的核心图卷积模块不一样。else:else:TD-GCN对比CTR-GCN，代码上的唯一改动就是在核心模块上，将CTR-GC改成了TD-GC，而这一改动仅仅是通过类似的思路添加了一个Temporal-wise topology而得来的。作者在四个输入模态上进行测试，输入Joint的话，相比CTR-GCN有大约0.4~2%的提升。然后作者也做了一些简化，参数量有一点下降在手势识别数据集SHREC17'和DHG-14/28上达到了SOTA。

时间卷积其实就是1*n的二维卷积，作者在做时间卷积的时候，分了四个层次，分别是dilation为1,2,3,4，这样可以扩大感受野，四种感受野的结果被拼到一起，然后再用了1x1的卷积和maxpool模块，同时还添加了residual模块。在 TCN_GCN_unit 这个类里，还有一个residual模块，用了一个 unit_tcn，相当于不通过时空图卷积，直接用一个temporal的卷积来处理了。核心部分是CTR-GC，这部分在论文中的结构长这样。还添加了类似于ST-GCN的注意力权重mask。

这篇文章应该算是图神经网络&动作识别领域最早的文章之一了，作者提出一个“时空图卷积网络”来解决动作分类任务。

对每一个样本（N，T），模型的输出矩阵（K，V，C）需要与邻接矩阵A（K，V，W）做element-wise乘加，对于每一个节点W，他的相邻关系是一个矩阵（K，V），他的卷积核乘法输出是矩阵（K，V，C），这两个矩阵做element-wise相乘，最后再求和得到最终的输出向量（长度为C），就得到了这一个节点通过空间卷积核的输出（N，C，T，W）空间卷积的输出经过时间卷积之后，加上残差模块的输出，就得到了gcn模块的输出，这样的gcn模块一共有十个。那这两个节点的数值都是1/2，对应文章里的这个部分。

图是一种数据结构，他主要表达表示实体（entity，也就是图的节点node）之间的关系（relationship，也就是图的边edge）。这里说的图（Graph）并不是图片的图（Image），后者应该被叫做像素图，本质上是空间里的像素矩阵，当然，像素图也可以被理解为特殊情况下（每个像素为节点，连接方式固定）的Graph。每个节点，边，以及图的整体都有相应的embedding，这里说的embedding相当于描述特征的向量，也可以叫做attribute。

最近在学习深度学习模型部署，踩过了很多坑，写一些学习笔记以供参考交流。

最近在学习深度学习模型部署，踩过了很多坑，写一些学习笔记以供参考交流。