《Designing Network Design Spaces》阅读笔记

《Designing Network Design Spaces》阅读笔记

本文所做内容

​ 与一般的NAS设计独立的网络结构不同，作者这次设计Design Spaces。希望能够发现网络设计的准则。作者的方法是将网络架构设计转换为一个低维的只包含简单，规则化的网络RegNet。

本文所用方法

​ 作者根据前人设计Design Spaces的方法得出：对于Design Spaces可以从中采样几个模型，给出其分布，然后使用传统的统计方法来对其进行分析。

​ 本文中作者设计的Design Spaces初始化更简单且初始时没有限制。具体的说就是输入是初始化的Design Space，输出是调整过的。每一步的目标是发掘能够产生更简单表现更好的设计原则。

​ AnyNet：没有限制的Design Space中的网络。

​ AnyNetX：包含x块（组卷积）。

​ RegNet：使用一些规则化限制，在维度和网络配置类型更简单，包含更高相关性的顶级性能模型，更适合分析和解释。

Tools for Design Space Design

​ 我们从Design Space中采样和训练n个模型，为了更加有效作者在ImageNet上以400 million flop(400MF)为一轮训练10轮。作者评估Design Space使用的是经验分布函数 empirical distribution function (EDF)。计算如下：

​

​ 本步骤总结如下：

​

The AnyNet Design Space

​ 一般的网络结构如下：

​ AnyNetX：包含16个自由度（4个阶段每个阶段4个参数）：the number of blocks di, block width wi, bottleneck ratio bi, and group width gi。为了获得有效的模型we perform log-uniform sampling of di ≤ 16, wi ≤ 1024，and divisible by 8, bi ∈ {1, 2*,* 4*}, and gi ∈ {1, 2, . . . ,* 32*}*(we test these ranges later)，重复采样直到获得500个模型。然后每个模型训练10轮。

​ 在应用每一步我们的方法的时候，我们的目标是：

​ 将此方法应用于AnyNetX可得：

AnyNetXA：还未添加限制的初始化Design Space。

AnyNetXB：增加限制shared bottleneck ratio bi = b for all stages i for the AnyNetXA design space。然后采样，训练500个模型。

AnyNetXC：类似AnyNetXB，we additionally use a shared group width gi = g for all stages to obtain AnyNetXC。

AnyNetXB，AnyNetXC结果如下可以看出基本上没啥明显差异。。。

AnyNetXD：在AnyNetXC的基础上增加限制wi+1 ≥ wi，得到AnyNetXD。

AnyNetXE：在AnyNetXD的基础上增加限制di+1 ≥ di得到AnyNetXE。

The RegNet Design Space

​ 绘制the best 20 models from AnyNetXE in a single plot（灰色线），绘制wj = 48*·*(j+1) for 0 ≤ j ≤ 20，y取对数。可以看出对于每个block都会有不同的width（分段连续函数，说明是几个block的一样）。

​ 根据以上的观察我们引入一个线性参数来预测block的宽度。

然后引入附加参数 wm > 0来进一步控制。从等式二获得uj我们来计算sj，然后进行四舍五入取整计算 wj，最后计算di 具体如下：

将每个网络架构使用六元组表示，然后使用等式2-4计算相应的参数，得到RegNet，具体如下：

​ 然后对wm，w0进行进一步的测试调整结果如下：

​ 各个网络结果对比：

Design Space Generalization

​ 在各种条件下RegNet性能都好。。。

Analyzing the RegNetX Design Space

​ 采样100个模型，训练25轮，lr设置为0.1。观察到梯度比较好的趋势为：

RegNet trends.

​ 参数设置的趋势，深度设置为20个块（这里是60层）其他参数如图：

Complexity analysis.

​ 复杂度对比图：

​ 结论：activations increase with the square-root of flflops, parameters increase linearly, and runtime is best modeled using both a linear and a square-root term due to its dependence on both flops and activations。（明显从图中可以看出activations比flops更能表示推理速度）

RegNetX constrained.

​ we set b = 1, d ≤ 40, and wm ≥ 2，然后we limit parameters and activations, following Figure 12 (bottom)。

​ 结果：

Alternate design choices and SE.

结果

…(img-rO8fhpxw-1587039679984)]

Alternate design choices and SE.

[外链图片转存中…(img-LePY8LWu-1587039679986)]

结果