博观约取，厚积薄发

本文提出了一种新的 CNN 模型，称为 Soft Stagewise Regression Network (SSR-Net)，使用从小型模型对单个图像进行年龄估计。受 DEX 的启发，我们通过执行多类分类来解决年龄估计问题，然后通过计算期望值将分类结果转化为回归。SSR-Net 采用由粗到细的策略并执行 多阶段的多类分类。每个阶段只负责完善其前一阶段的决策，以获得更准确的年龄估计。因此，每个阶段执行的任务很少，需要的神经元也很少，从而大大减少了模型的大小。

Transformers 在一些任务中取得了显著的性能，但由于其二次复杂度(相对于输入长度)，对于非常长的序列，它们的速度会非常慢。为了解决这一限制，我们将 self-attention 表示为核特征图的线性点积，并利用矩阵乘积的结合性将复杂度从降低到O (N)，其中N为序列长度。我们展示了这种公式允许迭代实现，极大地加速了自回归Transformers ，并揭示了它们与循环神经网络的关系。我们的线性Transformers 实现了与普通Transformers 相似的性能，并且在非常长的序列的自回归预测方

轻量化模型之ShuffleNet v2 详解

MobileNet v3 模型架构 包括 small 和 Large

MobileNet v2onnx 导出参考：torchvision onnx 模型导出_星魂非梦的博客-CSDN博客1. 模型描述MobileNet v2 来自论文：MobileNetV2: Inverted Residuals and Linear BottlenecksMobileNet v2 架构基于inverted residual(逆残差)结构，inverted residual(逆残差)结构的输入和输出是thin bottleneck 层，与在输入中使用扩展表示的传统残差模...

轻量化模型之squeezenet

torchvision onnx 模型导出

为了分析网络结构： 下载了 netronsnap install netron # 系统 ubuntu图1 Resnet 整体架构上图中，[ ] 表示一个 block 。对于 18/34 层 Resnetblock 在官方代码中为： BasicBlock 。BasicBlock 根据 identity 是否 下采样 分为两种。在上图中，绿色箭头部分 即 conv3_1, conv4_1, and conv5_1 处 identity 进行 下采样，实现： (1x1 conv, s=2)

图3。(a) Swin Transformer (Swin-T)的架构;(b)两个连续的Swin Transformer Blocks(符号见公式(3))。W-MSA和SW-MSA分别是具有规则（regular）窗口配置和移动（shifted）窗口配置的multi-head self attention modules。源码：GitHub - microsoft/Swin-Transformer: This is an official implementation for "Swin ...

图1 2个MSA。对应下面depth中的2。图2 SW-MSA 流程1. cyclic shift +reverse cyclic shift图3 cyclic shift， shift_size = 7 // 2 = 3depth = [2, 2, 6, 2] # MSA的个数[SwinTransformerBlock(...,shift_size=0 if (i % 2 == 0) else window_size // 2,...)for i in rang......

Swin Transformer: Hierarchical Vision Transformer using Shifted Windows