基于强化学习的水声OFDM信道自适应调制方案

提示：本文主要讲解论文基于强化学习的水声OFDM信道自适应调制方案中的内容

一、论文的背景和创新点

1.论文背景

传统的自适应调制技术在 UWA 信道中受限时变特性影响，基于机器学习的方法可提升性能。

2.论文创新点-

提出基于近端策略优化（PPO）算法的 UWA AM 模型，将 UWA 信道反馈信息映射到不完全离散的状态空间，分析复杂环境对通信质量的影响，构建传播模型获取数值特征，将 AM 问题表征为马尔可夫决策过程（MDP），并采用特定策略提高学习效率。

二、水下声学信道模型

1.信道模型的建立

利用贝尔霍普（Bellhop）模型结合 SWellEx_96 实验数据来获得确定性信道：首先使用实验数据描绘海底的特征，包括海底介质中的声波传播、粗糙度和地形等，以及与传播速度、一次和二次波的衰减、密度、不同角度的声反射系数等相关的参数，从而全面刻画海底特征，包括声弹性半空间现象等。使用特定的映射文件来勾勒以发射器为中心并向外径向扩展的海底轮廓，然后 Bellhop 软件使用线性分段方法加载输入的映射数据。
引入幅度调制衰落模拟器，构建线性时变的 UWA 信道模型：在建立 N 路径确定性信道后，引入广义平稳非相干散射原理，借助数学表达式来描述信道的时变特性。其中，信道冲激响应 h (t,τ) 由多个路径的幅度衰减因子 αn (t)、多普勒频移 fd_n 以及路径延迟 τn (t) 构成；幅度衰减因子 αn (t) 是包含幅度和相位信息的复变量，其均值由 Bellhop 模型确定，并服从瑞利衰落；每个特征射线由一条主射线和周围的一些次要射线组成，主射线保留延迟和幅度特性，而所有射线可以用莱斯衰落模型来表示，信号通过莱斯衰落信道传输时，其信号包络服从莱斯分布。
考虑海洋噪声：主要包括内在噪声、雨噪声、生物噪声和人类噪声等，文中重点考虑了对通信有显著影响的湍流、波和热噪声，通过相应的经验公式来描述它们的特征，从而可以根据中心频率 f 和风速确定噪声的能量谱密度，进而计算出频带内的噪声能量。
纳入多普勒 效应&#