Attention Model for Massive MIMO CSI Compression Feedback and Recovery阅读笔记

Abstract

本文旨在提高恢复性能,降低时间复杂度。首先在编码器网络中,引入LSTM网络;解码器中增加了注意力机制;第三,在训练过程中使用了early stopping。

1 Introduction

在CsiNet的基础上,做了以下几点改进:

  • 在编码器部分,引入LSTM网络来代替原来的全连接网络。当压缩比CR很高时,LSTM网络可以充分利用信道矩阵之间的相关性并保留重要信息。
  • 受SEnet的启发,在CNN中引入注意力机制。模型可以充分利用CNN的特征图。我们的model称为Attention-CsiNet
  • 采用early stopping来阻止过拟合。可以更快收敛节省大量时间。

2 System Model

单小区FDD下行链路大规模MIMO-OFDM系统中,考虑 N c N_c Nc个子载波。在BS端采用 N t > > 1 N_t >> 1 Nt>>1的ULA天线,UE端单个天线。UE端第 i t h i_{th} ith子载波表示为:

y i = h i v i x i + n i y_i = \textbf{h}_i \textbf{v}_i x_i + n_i yi=hivixi+ni

H D = [ h 1 , h 2 , . . . , h N c ] \textbf {H}_D = [\textbf{h}_1, \textbf{h}_2,...,\textbf{h}_{N_c}] HD=[h1,h2,...,hNc]表示空频域的CSI矩阵。在FDD链路中,UE需要估计 H d \textbf{H}_d Hd然后将CSI通过反馈链路送回BS端来追踪时变信道特征。一旦BS接收到CSI反馈,他就可以设计预编码向量,调制方式和码率。

通过2D-DFT将 H d \textbf {H}_d Hd变换到角延迟域来观察。得到近似稀疏矩阵 H s \textbf{H}_s Hs

H s = F d H d F a \textbf {H}_s = \textbf{F}_d\textbf{H}_d\textbf{F}_a Hs=FdHdFa

因为有限的多径延迟,所以可以系数化。只有 H s \textbf{H}_s Hs的前 N ~ c ( < < N c ) \tilde N_c(<< N_c) N~c(<<Nc)包含非零元素,然后移除其余 ( N c − N ~ c ) (N_c-\tilde N_c) (NcN~c)行。

编码器网络 H e n = f L S T M ( H ) \textbf{H}_{en}=f_{LSTM}(\textbf{H}) Hen=fLSTM(H),解码器网络 H ^ = f C N N ( H e n ) \hat {\textbf{H}} = f_{CNN}(\textbf{H}_{en}) H^=fCNN(Hen)

3 The proposed Attention Model

尽管CsiNet在感知和重建方面表现了出色的性能,但发现仍有改进的余地。

A. LSTM encoder

CsiNet忽略了子载波之间的相关性。受RNN在NLP领域的启发的启发,能够从序列任务中提取信息。所以使用LSTM网络来代替全连接来提高恢复质量。

在这里插入图片描述

我们使用双向LSTM(bi-LSTM)获得M维向量结果,并找到两个向量的平均值作为反馈的编码向量。LSTM网络共享相同的参数。

如图上图所示,我们reshape H \textbf H H to [ h 1 , h 2 , . . . , h s ] [\textbf h_1, \textbf h_2,...,\textbf h_s] [h1,h2,...,hs]同时将 s s s vectors送入bi-LSTM network。 s s s也是LSTM网络的时间步长。最终得到一个 M M M维的向量作为最终的编码CSI向量进行反馈。

B. Attention Mechanism

在CNN中加入SEblock。

在这里插入图片描述

C. THE Structure of Attention Csi-Net

在这里插入图片描述

整体架构如图所示:

将CSI矩阵H的实部和虚部作为网络输入的两个通道。第一层是卷积层,其尺寸为3×3个核,批量标准化[15]层可以加速训练并防止过度拟合。该层将生成两个feature maps。然后将特征 reshape成 s s s vectors,送入到bi-LSTM神经网络中来生成code H e n \textbf H_{en} Hen,一个 M M M维向量。

一旦在BS中获得了码字,我们使用LSTM解码器网络来重建最初的信息。我们重复 H e n \textbf H_{en} Hens次,然后将这些向量送入到LSTM网络去基本恢复 H \textbf H H 。将LSTM的输出reshape成$2\times N_t\times N_t的矩阵。然后该矩阵被送入两个RefineNet模块,以便完全重构CSI矩阵。

最后的输出层通过sigmoid函数激活,该函数可以将值缩放为[0,1]。

输入数据被标准化为[0,1]范围,整个网络被定义为:

H ^ = f ( H ; Θ ) ≜ f C N N ( f L S T M ( H ; Θ e n ) ; Θ d e ) \hat{\textbf H} = f(\textbf H; \Theta)\triangleq f_{CNN}(f_{LSTM}(\textbf H;\Theta_{en});\Theta_{de}) H^=f(H;Θ)fCNN(fLSTM(H;Θen);Θde)

神经网络的所有参数表示为 Θ = { Θ e n , Θ d e } \Theta = \{\Theta_{en},\Theta_{de}\} Θ={Θen,Θde}

损失函数为均方误差(MSE)定义为

L ( Θ ) = 1 T ∑ i = 1 T ∣ ∣ H ^ − H ∣ ∣ 2 2 L(\Theta)=\frac 1 T \sum^T_{i=1}||\hat{\textbf H }-\textbf H||^2_2 L(Θ)=T1i=1TH^H22

T T T是batch size。 ∣ ∣ ⋅ ∣ ∣ 2 ||\cdot||_2 2为欧几里得范数。

使用ADAM梯度下降优化器来完成参数更新。

4 Simulation Results and Analysis

采用和CsiNet一样的方式使用COST2100模型来产生MIMO信道数据。

为了避免过度拟合,我们使用了提前停止,以便每个训练步骤中的历次从700到1000不等。

在这里插入图片描述

为了比较不同方法的性能,我们使用归一化MSE(NMSE)来明确恢复性能,其定义如下:

N M S E = E 1 N ∑ n = 1 1 ∣ ∣ H n − H ^ n ∣ ∣ 2 2 / ∣ ∣ H n ∣ ∣ 2 2 NMSE=E{\frac 1 N \sum^1_{n=1}||\textbf H_n - \hat{\textbf H}_n||^2_2/||\textbf H _n||^2_2} NMSE=EN1n=11HnH^n22/Hn22

我们还使用余弦相似性来比较不同的方法,如下所示:

ρ = E { 1 N c ∑ i = 1 N c ∣ h ^ i H h ~ i ∣ ∣ ∣ h ^ i ∣ ∣ 2 ∣ ∣ h i ∣ ∣ 2 } \rho = E\{\frac 1 {N_c} \sum^{ N_c}_{i=1}\frac {|\hat{\textbf h}^H_i \tilde{h}_i|}{||\hat {\textbf h}_i||_2|| {\textbf h}_i||_2}\} ρ=E{Nc1i=1Nch^i2hi2h^iHh~i}

some pseudo-gray plots of reconstruction samples

在这里插入图片描述

5 Conclusion

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值