深度学习
文章平均质量分 75
Treasureashes
总有一条非走不可的弯路。
展开
-
Text Recognition in the Wild: A Survey
这是来自华南理工2020年的一篇survey,主要讨论的是场景文本识别(scene text recognition,STR)领域的现状与一些发展方向。原创 2022-07-18 03:12:03 · 513 阅读 · 0 评论 -
Hamming OCR: A Locality Sensitive Hashing Neural Network for Scene Text Recognition
当前的OCR模型太大,直接应用在中文等多字符语言系统的识别中,会导致过大的存储成本(主要是projection matrix的存储)和较大的计算量,如果直接缩减d(字符级特征向量的维度)会损害模型性能,直接缩减L(词汇表的长度)会限制应用场景。...原创 2022-07-18 03:08:56 · 250 阅读 · 0 评论 -
【量化】A Quantization-Friendly Separable Convolution for MobileNets
将深度卷积+BN+ReLU+点卷积+BN+ReLU替换成深度卷积+点卷积+BN+ReLU(+L2正则化)原创 2022-07-18 03:03:32 · 300 阅读 · 0 评论 -
【剪枝】ThiNet: A Filter Level Pruning Method for Deep Neural Network Compression
剪枝的思想可以被总结为一句话:(以某一标准)评估每一个神经元的重要性,移除不重要的那些神经元,再finetune整个网络来恢复精度。所以,剪枝一般有三个阶段:filter selection,pruning,与fine-tuning。...原创 2022-07-18 02:58:38 · 375 阅读 · 0 评论 -
【量化】Post-Training Quantization for Vision Transformer
Ranking aware+Bias correction+Nuclear Norm Based Mixed-Precision Quantization原创 2022-07-18 02:48:55 · 1395 阅读 · 1 评论 -
【Backbone】MOBILEVIT: LIGHT-WEIGHT, GENERAL-PURPOSE,AND MOBILE-FRIENDLY VISION TRANSFORMER
文章的主要思想是用transformer来代替convolution去进行global processing,而convolution主要是来进行local processing。原创 2022-07-18 02:37:29 · 242 阅读 · 0 评论 -
【量化】PTQ4ViT: Post-Training Quantization Framework for Vision Transformers
作者的idea来源于对ViT中激活值的分布的观察,以及对不同评估量化误差的指标对比的观察。原创 2022-07-18 02:25:26 · 915 阅读 · 0 评论 -
利用torch.fx进行后量化
torch.fx 量化支持——FX GRAPH MODE QUANTIZATIONtorch.fx目前支持的量化方式:Post Training QuantizationWeight Only QuantizationDynamic QuantizationStatic QuantizationQuantization Aware TrainingStatic Quantization其中,Post Training Quantization中的Static Quantiza原创 2021-10-30 11:19:52 · 2062 阅读 · 0 评论 -
多任务学习优化总结 Multi-task learning(附代码)
Multi-task Learning(Review)多任务学习概述多任务学习优化(Optimization in Multi-task learning)Multi-Task Learning as Multi-Objective Optimization 阅读笔记Multi-Task Learning Using Uncertainty to Weigh LossesGradNorm:Gradient Normalization for Adaptive Loss Balancing原创 2021-07-29 03:08:52 · 13299 阅读 · 7 评论 -
PyTorch 代码流程(简单例子)
一、模型构建这个写成了类,一般要继承torch.nn.Module来定义网络结构,然后再通过forward()定义前向过程。下面以一个很简单的两层全连接网络为例:# netclass net(nn.Module): def __init__(self): super(net, self).__init__() self.fc1 = nn.Linear(50, 50) self.fc2 = nn.Linear(50, 10) def forward(self,原创 2021-07-21 23:05:03 · 894 阅读 · 0 评论 -
ResNet & MobileNetV1 & MobileNetV2设计对比分析
MobileNetV1论文地址:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision ApplicationsMobileNetV2论文地址:MobileNetV2: Inverted Residuals and Linear BottlenecksResNet论文地址:Deep Residual Learning for Image Recognition关于这些网络结构的介绍已经有很多了:MobileN原创 2021-07-02 11:34:10 · 1749 阅读 · 0 评论 -
批标准化(Batch Normalization)
为什么要进行BN?简单一句话,就是为了训练参数更好更有效地向前传播。而为什么参数会出现不好传播的情况呢?主要原因是激活函数的使用。为了增加模型的非线性表达能力,在层与层之间常常加上一层激活函数。而这层激活函数的存在会使得数据分布产生变化,大部分激活函数都会有一个敏感区间,而非敏感区间的数据有可能就在多层的参数传递后丢失了。尤其是在层数特别深的情况下,未经过标准化的数据起到的作用相当有限。所以,BN层的作用是把一个mini-batch内的所有数据,从不规范的分布拉到正态分布。这样做的好处是使得数据原创 2021-06-25 19:18:22 · 325 阅读 · 2 评论