算法框架
文章平均质量分 77
Law-Yao
数字信号处理与人工智能相关的软硬件系统实现工作。
展开
-
随笔记录——NLP与ASR的数据增强
自然语言处理(NLP: Natural Language Processing)与语音识别(ASR: Automatic Speech Recognition)都是典型的序列识别任务,现阶段皆可以按Transformer模型架构进行建模处理,如SAN-M、BERT、BART、GPT2、T5、Switch-Transformer等模型。Transformer模型的输入,表示为Sequence embeddings(序列特征),其中NLP的输入Embedding、表示Token的高维矢量编码,ASR的输入特原创 2022-04-05 20:33:27 · 3719 阅读 · 0 评论 -
随笔记录——FCOS及其应用
Paper地址:https://arxiv.org/abs/1904.01355FCOS简介FCOS是全卷积、单阶段、无锚框类型的目标检测器(Fully Convolutional One-stage Anchor-free Objector Detector),自提出以来被广泛应用于图像/视频内容理解领域,包括商品检索、Logo检测等应用。FCOS总体结构、及特点如下:全卷积网络: Backbone、Neck与Head均为全卷积构造,以便于模块化建模、可扩展应用与推理优化支持(如Ten原创 2022-02-12 17:12:42 · 2179 阅读 · 0 评论 -
INT16乘累加防溢出量化训练——Overflow-aware Quantization
简介参考论文:https://arxiv.org/abs/2005.13297 OAQ (Overflow-aware Quantization)利用量化比特位宽的表示冗余,借助INT16单元寄存中间、与最终乘累加结果,在ARM平台上实现计算加速;基本原理文章基于TF-Lite的非对称量化训练算法,提出了INT16乘累加防溢出条件:总体来说,要求整数的中间乘累加、与最终累积结果不能溢出INT16范围; 文章通过引入可调整的alpha因子,提出了整数量化范围的自适应调整机制: .原创 2021-01-11 18:54:57 · 1683 阅读 · 0 评论 -
用MXnet预训练模型初始化Pytorch模型
1、MXnet符号图:基于MXnet所构建的符号图是一种静态计算图,图结构与内存管理都是静态的。以Resnet50_v2为例,Bottleneck结构的符号图如下: bn1 = mx.sym.BatchNorm(data=data, fix_gamma=False, eps=2e-5, momentum=bn_mom, name=name + '_bn1') ...原创 2018-06-06 15:22:52 · 2018 阅读 · 2 评论