强化学习方法在风能系统中的研究现状（主要是风速预测）

本文对强化学习在风能中的应用进行了综述，确定了各种应用中最流行的方法，并表明强化学习可以替代传统方法。根据应用，这些技术被分为四组：优化控制、预测预报、优化和其他技术。

1、最优控制

1.1 桨距角控制

变桨控制的主要目标是减小机械应力，维持WECS的额定发电机转速。可以使用混合比例积分微分( PID )调节器、学习观测器和基于强化学习的控制器相结合。由于缺乏可用于基于RL（强化学习）控制的过去知识，PID控制器在早期训练事件中很有帮助。学习观察者通过改变探索率和探索窗口来调节学习，以减少训练过程中的振荡，提高收敛性。此外，还可以用比例( P )、比例微分( PD )、比例积分( PI )、PID、神经控制器( NEU )、模糊逻辑控制器( FLC )、深度强化学习( DRL )、基于深度强化学习的比例( DRL-P )、基于深度强化学习的比例微分( DRL-PD )、基于深度强化学习的比例积分( DRLPI )和基于深度强化学习的比例积分微分( DRL-PID )的变桨控制器进行控制。

1.2最大功率点控制MPPT和发电机转矩控制

 为了最大限度地从风能中提取能量并提高WECS的效率，MPPT一直是一个至关重要的要求。

由于RL通过直接的环境交互来辅助变速风方法的学习，因此，WECS或风速参数的知识是不必要的。因此，可以采用人工神经网络( ANN )和RL技术相结合的MPPT控制系统。此外，也可以采用无模型Q学习算法学习从状态到最优控制动作的映射。最大功率点( Maximum Power Points，MPPs )是根据特定数量的在线学习后记录在Q表中的经验动作值确定的。然后利用得到的最大功率点建立最优的转速-功率曲线，实现VSWECS的快速MPPT控制。

2、风速预测预报技术

 尽管预测风能输出一直是一项艰巨的任务，但对于能源提供商、风能市场参与者、WF的所有者和运营商、维护人员等来说，构建尽可能好的规划是必不可少的。预测时考虑的两个主要因素是风电功率和风速。下表给出了基于时间跨度的预测分类。

 1、混合风速预测模型。推荐的建模策略分为3个部分。经验小波变换方法在第一阶段通过将原始风速数据分割成若干子序列来降低其非平稳性。此外，在第二阶段使用三种不同的DNN来建立预测模型，并确定每个子序列的预测结果。然后，在第三阶段使用RL技术组合三种不同的DNN类型。综合各子序列的预测结果，得到最终的预测结果。

2、一种基于模糊强化学习( FRL )的自适应自学习风速预测模型。所提出的基于FRL的风速预测模型具有较高的精度。目标速度、对象或系统的信息对于所提出的模型是未知的。将实测风速作为基于FRL的风速预测模型的输入，通过具有Ranker搜索技术特征选择目的的Info Gain属性评估器进行处理。

3、将风速作为唯一输入。提出了一种基于DRL的动态集合风速预测模型。为了保证有效性，它结合了DRL、多目标优化和集成学习。

4、一种新的基于无模型RL的风速预测方法。该方法利用改进的模糊Q学习( Modified Fuzzy Q Learning，MFQL )框架对提前1 min的风速进行精确估计。

5、建立一种独特的混合模型，该模型结合了数据自适应分解、增强误差校正和RL集成。

6、一种基于RL方法的新型混合框架用于风速预测。所提出的方法使用了一个稳健的混合架构，该架构使用了预测模型池( FMP )和使用强化学习的在线模型选择( OMSRL )。该系统的两个主要组成部分是用于在线模型选择的FMP和RL代理。首先，使用9种在风速数据上训练的鲁棒技术来生成FMP。在每个时间步动态选择最佳预测策略，以提高使用RL代理的准确性。

下面是一个基于Bilstm的风速预测的方法，供初学者使用。