李宏毅机器学习课程2021---Architecture Design(Depthwise Separable Convolution)

一、Standard CNN

每个filter其实是一个立方体，4个filter参数共有72个。filter和channel是没有关系的。

二、Depthwise Separable Convolution

1. Depthwise Convolution
   

   有多少个channel就有多少个filter，

2. Pointwise Convolution

filter的大小只能是$1\times 1$

三、参数量的差异（一和二）

四、Low Rank approximation

原先是W，现在分成两层U,V，实际上参数是减少了，但是会减少W的可能性。

下面是经过depth-wise convolution和point-wise convolution得到的值。

五、Dynamic Depth

六、参考

[1](强推)李宏毅2021春机器学习课程