LRNNET是一种轻量级网络，通过factorized convolution和channel attention减少参数，加快运算速度。它采用奇异值分解和近似简化卷积操作，并结合Non-local Module增强特征学习。在Cityscapes上展示了高效实时语义分割的能力。
论文标题为LRNNET: A LIGHT-WEIGHTED NETWORK WITH EFFICIENT REDUCED NON-LOCAL OPERATION FOR REAL-TIME SEMANTIC SEGMENTATION
链接：https://arxiv.org/abs/2006.02706v1
一、相关概念
LRNNET主要包含两种结构：factorized convolution和attention model
1 factorized convolution
factorized convolution是指对标准的卷积方式进行分解优化，以起到减少参数量、提高运行速率的目的。文章中使用了factorized convolution block(FCB)
2 channel attention
channel attention的方法被大量运用在语义分割的模型中，而position attention和non-local方法则运用较少。
二、methodology
1 singular value decomposition and approximation
这里使用奇异值分解类似于在机器学习特征工程中的数据降维处理。假设一个矩阵 A = ( a i j ) ∈ R m × n ( m ≥ n ) A=(a_{ij})\in R^{m\times n}(m\geq n) A=(aij)∈Rm×n(m≥n)同时有实数 σ 1 ≥ σ 2 ≥ ⋯ ≥ σ r > 0 \sigma _{1}\geq \sigma _{2}\geq\cdots\geq\sigma _{r}> 0 σ1≥σ2≥⋯≥σr>0，两个正交矩阵 U ∈ R m × m U\in R _{m\times m} U∈Rm×m, V ∈ R n × n V\in R _{n\times n} V∈Rn×n，满足 A = U D V T = ∑ i = 1 r σ i u i v i T A=UDV^{T}=\sum_{i=1}^{r}\sigma _{i}u _{i}v _{i}^{T} A=
最低0.47元/天 解锁文章
扫一扫
1430
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
