OM | 马尔科夫过程在风电场机组维护的应用​​

作者：谢玉光（笔名），西安交通大学，管理科学与工程专业

编者按
本文系『OR青年计划』成果，是谢同学在孙秋壮老师指导下完成。由『运筹OR帷幄』社区主办的『OR青年计划』，旨在帮助对运筹学应用有理想和追求的同学，近距离与学界、业界导师交流课题，深入了解运筹学的细分方向，为后续的深造、就业生涯打下坚实的基础。关于第二届『OR青年计划』的详细情况，请参考成果汇报来啦！第二届OR青年计划之学界实验室结营直播预告！！！

一、引言

迫于减轻气候变化影响和高额能源成本的压力，风力发电成为世界上增长最快的可再生能源之一。2020 年，美国风能的总容量增长了 45%，预计到 2023 年将增长近两倍。尽管风电储备容量巨大，但由于其运行维护成本较高，风电在当前能源市场中所占份额仍然很小。因此，降低风力发电的运行维护成本能够有效提高风能市场化能力，为新能源的发展提供强大的动力。

在风电机组维护的过程中，不断增加的耗电量，发电机老化，电力系统基础设施投资不足，天气恶劣等原因都影响了发电机的维护计划。传统上，使用工程专业知识、制造规范和故障统计数据定期安排维护活动。这些通常需要频繁进行不必要的维护例行程序，否则风电机组将面临意外故障的高风险。各个风电场努力寻找更有效的方法来延长风电机组的寿命，尽量减少故障，减少维修中断的频率，并减轻其负面影响。

现在的风电机组设备本身就具备可监控的属性。一些设备制造商已经开始与公司签订长期服务协议，远程监控其资产，以防止潜在故障。通常，来自各种发电机的传感器数据被传输到一个集中的集线器，在那里使用传统的分类器和基于控制极限的技术来触发警报。决策通常局限于即将进行的维修，提前预警能力有限。考虑到决策过程的时间敏感性，例如电厂意外关闭，任何可行的维修政策都必须提供充足的响应时间。在这方面，预测分析方法可以提供重要的机会。传感器技术和在线诊断的进步使商业系统能够检测到代表发电机组件退化水平的可处理降解信号。这些系统可以实时获取和处理传感器数据，对当前退化水平(诊断)提供准确的分析，并估计这些信号在未来的进展(预后)。改进对发电机退化过程的理解可能有助于改进维护目标。

因此，本文基于马尔科夫过程对风力发电机组的设备退化情况和天气变化进行预测，从成本的角度优化风电机组运营维护安排，以动态实现降低风力发电全过程运营维护成本。

二、马尔可夫决策过程

风电场开发研究一般可分为尾流损失模型、涡轮机布局设计、风不确定性模型、最优维护策略等。尾流效应解释了由其上风涡轮机引起的顺风涡轮机的风力减少。尾流丢失模型可分为两类：分析模型和计算模型。Jensen（1983）开发了最流行的分析模型之一，该模型已普遍用于风能。Crespo、Hernandez 和 Frandsen（1999）在分析和计算尾流损失模型中进行了全面的研究。对于风电场条件，文献中讨论了两种类型的风电场模型：异质地形条件下的矩形风电场（Mittal，2010）和不规则的风电场，里面有许多不可行的区域（Chen，Li，Jin，&amp Song，2013）。使用混合整数规划（MIP）的数学优化程序可用于确定海上风电场布局设计的最佳或非常好的解决方案。通过预先定义候选涡轮机位置（wang et.al，2009）或涡轮机总数（Kusiak &Song，2010）来开发和应用方法。wang et.al（2009）为风电场开发了一种两阶段遗传算法。它应用二元遗传算法，以最小的单位能量生产成本获得涡轮机位置，并进一步允许涡轮机在第二阶段调整其在电池内的位置，以改善能量产生。Salcedo-Sanz 使用进化计算技术介绍了北欧真实海上风电场的布局优化（Salcedo-Sanz 等人，2013）。Salcedo-Sanz 还开发了一种用于风电场设计和布局优化的新颖算法：珊瑚礁优化算法（Salcedo-Sanz 等人，2014）。其他优化方法包括贪婪算法（song et.al，2014）和许多启发式算法（Aytun Ozturk 和 Norman，2004）。

风电场开发的另一个研究重点涉及风力建模。风力建模的典型方法是使用风速和风向的概率模型。威布尔分布被广泛用于风速模型（Abbes 和 Belhadj，2012）。不同的维护策略和分析方法已应用于海上风力涡轮机系统。常用的策略包括预防性维护、纠正性维护、持续监控和基于状态的维护。Tian，Jin，Wu 和 Ding（2011）开发了一种基于状态的维护优化模型，在连续监测下为风电场定义了两个风力涡轮机级别的故障概率阈值。Sinha 和 Steel（2015）设计了基于故障分析的基于状态的预测维护计划，以控制电力成本并提高维护效率。Asensio，Pérez 和 Márquez（2015）提出了一种新颖的维护管理方法，该方法基于对海上风力涡轮机状态监测系统生命周期成本的经济研究。Nilsson 和 Bertling（2007）使用状态监测系统的策略进行生命周期成本分析，以改善单个陆上风力涡轮机和海上风电场的维护计划。Besnard等（2009）为海上风力发电系统开发了一个机会主义维护优化模型。

风电场的最佳开发需要解决有关电力生产量、维护成本和能源可用性（正常运行时间）的问题。Lackner 和 Elkinton（2007）开发了一种使用平准化电力成本作为海上涡轮机布局优化问题的目标函数的方法，并将能源成本转换为涡轮机位置的函数。Van Haaren 和Fthenakis（2011）从空间成本和收入优化的角度，为纽约州的风电场进行了一种新的选址方法。Hopewell，Castro-Sayas 和 Bailey（2006）回顾了海上风电场收集系统的经济原理，并提出了优化涡轮机布局，海上变电站位置和风电场收集网络规模的方法。Dinwoodie，McMillan，Revie，Lazakis 和 Dalgic（2013）描述了海上风电运营的运营和战略决策支持组合模型，允许开发商和运营商在项目生命周期内探索各种预期的运营场景，以确定最佳的运营策略和相关风险。Van Bussel 和 Zaaijer.M.（2001）进行了一项概念研究，通过评估大型海上风电场的可靠性和维护，评估了超大型风力涡轮机不同设计的机会和缺点。Hameed，Ahn和Cho（2010）评估了连续监测系统的可行性，并研究了系统设计，架构和安装中的重要参数。

三、模型构建

发电机配备了数百个，有时甚至数千个传感器来监测它们的状态和性能。这些传感器信号可以转换为独特的测量称为退化信号。降级信号捕获生成器的当前降级状态，并提供关于该状态在未来可能如何演变的信息通常，一组相似的发生器会表现出退化信号的通用形式。故障时间是退化信号越过预先指定的故障阈值的时间。我们的基本假设是，降解信号的振幅与降解过程的严重程度直接相关。虽然发电机可能在相同的运行条件下运行，但它们仍然经历不同的退化率，因此有不同的故障时间。这种差异是由许多因素造成的，包括制造、使用的材料等的同质性。

3.1状态（State）

在本研究中，我们选择马尔可夫模型来表示系统的退化行为和天气的变化过程，因为它在许多应用中具有灵活性和普及性，包括对电力系统中使用的设备进行建模。在最近的几项研究中，马尔可夫模型被用于表示风力涡轮机部件的退化模式。当系统发生马尔可夫退化时，每个风电涡轮机组的当前状态根据转移概率矩阵转移到另一个状态表示为$P_d=[P_{ij}]$，由以下四个子矩阵组成：

其中，$P_A$表示从状态正常震动信号到另一正常震动信号状态的转换矩阵，$P_B$是从正常震动退化状态至故障震动退化状态之一的转换矩阵。0是零矩阵，I是单位矩阵。两者和矩阵一起反映了这样一个事实，即一旦系统发生故障，它就不能自行返回到任何正常状态，而是保持在相同的故障状态，除非采取维护措施。在许多实际应用中，是一个上三角矩阵，其中下非对角元素为零，因为系统无法自行改进。

同理而天气的马尔科夫变化矩阵表示为$P_w=[P_{ij}]$，是一个二维矩阵，当j=0时表示天气不好无法进行维修，而当j=1时表示天气好可以进行维修。

3.2纠正性维护（Action）

修复性维护成本占总运维成本的30%至60%。不仅是直接成本（修复故障部件），而且间接成本（如收入损失）也对纠正性维护成本有很大贡献。这主要是由于通常风电场的可访问性有限以及部件和机组的可用性有限，导致停机时间较长。

当风力涡轮机发生故障时，直接进行纠正性维护，即换新。此时需要考虑天气的状况，当天气的状况较好时，可以直接进行维修；当天气的状况不好时，则需要等待天气好时才可以进行维修，在维修期间，风电涡轮机会由于无法工作而产生收入损失，并且换新也会产生换新的设备成本，并且当期维修动作还会对将来下一期的风机状态产生影响，从而对整个全过程风电场的总收入和总成本产生影响。

3.3回报（Reward）

若采取什么也不做，则该发电机在将来可能出现损失需要维护，则取产生的成本；下一次的维护成本和非故障情况下的预期成本。

当维修周期开始时发现涡轮发电机损坏，可以选择什么也不做或者采取纠正性维护，当什么也不做时，则会造成当期的运营损失以及下一期的维护。采取纠正性维护则会在当期产生维护成本和下一期非故障情况下的预期成本。

四、算法设计

当离散状态有限时域马尔可夫决策过程的状态空间和动作空间非常小且可枚举时，可以用动态规划或启发式算法求解。然而，在本研究中，MDP 的混合整数离散连续状态空间是不可数的。此外，由于“维数灾难”，MDP 的状态空间和动作空间相对于系统中的组件数量呈指数增长。因此，由此产生的优化问题无法通过传统方法（Andriotis&Papakon-stantinou，2019）轻易解决，例如动态规划、遗传算法和禁忌搜索。作为一种替代方法，深度强化学习（DRL）（Sutton&Barto，2018）是一种很有希望以计算效率的方式克服系统问题的工具。

近年来，人们对 DRL 算法进行了研究，以解决复杂的 MDP 问题，尤其是在人工智能领域（Dulac Arnold 等人，2015；Lillicrap 等人，2015 年；Mnih 等人，2015）；Silver 等人，2014 年；Sutton&Barto，2018 年）。在 DRL 算法中，代理从高维输入中获得环境的有效表示，并使用它们将过去的经验推广到新的情况（Mnih 等人，2015）。因此，代理人必须了解如何与动态环境互动，以最大化其预期累积回报（Schmidhuber，2015）。具体而言，DRL 算法在许多游戏中击败了人类，例如 Atari 2600 游戏、围棋、象棋和 shogi（Mnih 等人，2015；Silver 等人，2018）。DRL 算法最近被用于促进工程系统管理（Andriotis&Papakonstantinou，2019）。

为了解决我们的具体优化问题，本研究提出了一种定制的 DRL 算法，以解决具有混合整数离散连续状态空间的 MDP 问题，并克服状态空间和动作空间的“维数灾难”。在提出的DRL 算法中，将以相同的初始条件重复执行风电机场维护任务。根据行动者-批评者算法的框架，批评者将通过评估给定条件下未来成本最小，即评估 Q 函数的值，来判断所选维修行动的有效性。为简单起见，批评家估计的 Q 函数值表示为“Q 值”。根据所有风电涡轮机组的状态，行动者将为所有部件选择维修行动，作为学习策略的参考，并在维修资源受限的情况下实现最大 Q 值。通过执行行动者选择的维护操作，可以估计风电机组运营中所有涡轮机的状态以及奖励。随着迭代的发展，行动者根据批评者提供的更高 Q 值调整其参数，而批评者则根据所选维护活动的奖励更改其参数，以准确判断所选维护行动的有效性。受Wolpertinger 架构（Dulac Arnold et al.，2015）的启发，该架构可以在大型离散动作空间中搜索动作，演员使用了后处理。两种主要技术，即经验回放和深度 Q 网络的目标网络（DQN）（Mnih et al.，2015），用于训练定制 DRL 算法中的网络。ε-贪婪政策（Mnih 等人，2015）和噪音（Lillicrap 等人，2015 年）均适用于勘探和开采。

批评家：在行动者-批评家框架中，批评家将评估行动者选择的行动的有效性。在本研究中，基于系统中所有涡轮机组的状态，批评家通过评估动作回报，即 Q 函数，来评估每次中断中所选维修措施的有效性。为了克服状态空间的“维数诅咒”，批评者用多层人工神经网络表示，以逼近 Q 函数。人工神经网络是所谓的 Q 网络，在维修任务开始时，Q 网络的输入包括所有涡轮机组的状态和选定的维修行动。Q 网络的输出是 Q 值，代表选定维修行动的有效性。非线性整流器，即识别线性单元（ReLU），用作 Q 网络的激活函数。

行动者：行动者将根据具体情况选择一个动作。通过 Q 函数确定最佳操作对于 DRL 算法非常重要。在小规模行动空间的问题中，可以通过列举许多现有的近似动态规划（ADP）和强化学习（RL）算法中报告的所有可能行动来选择最佳行动（Sutton&Barto，2018）。然而，对于大规模问题来说，计算上无法负担所有可能的操作。为了代替穷举，构建多层人工神经网络，即行动者网络，以选择风电场维护中的具体维护措施。行动者网络的输入由第 k次检修时的天气状态和风电机组状态组成。行动者网络的输出是一个策略概率密度函数，通过对其进行蒙特卡洛仿真抽样获取当前状态下行动者网络的选择，即对风电场的维护动作。

五、结论

本次研究通过对天气、风电机组涡轮机器的退化震动信号建立马尔科夫随机过程模型，以全过程运营成本为目标，通过在资源有限的情境下，选择合理的风电场机组的维胡计划，提高风电场运营维护管理效率。现有的研究已经进展到算法测试部分。

参考文献

[1]Abbes, M., & Belhadj, J. (2012). Wind resource estimation and wind park design in El-Kef region, Tunisia. Energy, 40(1), 348–357.
[2]Asensio, E. S., Pérez, J. P., & Márquez, F. G. (2015). Economic viability study for offshore wind turbines maintenance management. Proceedings of the Ninth International Conference on Management Science and Engineering Management, 235–244.

[3]Aytun Ozturk, U., & Norman, B. A. (2004). Heuristic methods for wind energy conversion system positioning. Electric Power Systems Research, 70(3), 179–185.

[4]Besnard, F., Patriksson, M., Strömberg, A.-B., Wojciechowski, A., & Bertling, L. (2009). An optimization framework for opportunistic maintenance of offshore wind power system. PowerTech: IEEE Bucharest1–7.

[5]Breton, S. P., & Moe, G. (2009). Status, plans and technologies for offshore wind turbines in Europe and North America. Renewable Energy, 34(3), 646–654.

[6]Chen, Y., Li, H., Jin, K., & Song, Q. (2013). Wind farm layout optimization using genetic algorithm with different hub height wind turbines. Energy Conversion and Management, 70, 56–65.

[7]Crespo, A., Hernandez, J., & Frandsen, S. (1999). Survey of modelling methods for wind turbine wakes and wind farms. Wind Energy, 2(1), 1–24.

[8]Ding, F., & Tian, Z. (2012). Opportunistic maintenance for wind farms considering multi level imperfect maintenance thresholds. Renewable Energy, 45, 175–182.

[9]Dinwoodie, I., McMillan, D., Revie, M., Lazakis, I., & Dalgic, Y. (2013). Development of a combined operational and strategic decision support model for offshore wind. Energy Procedia, 35, 157–166.

[10]Grady, S. A., Hussaini, M. Y., & Abdullah, M. M. (2005). Placement of wind turbines using genetic algorithms. Renewable Energy, 30(2), 259–270.

[11]Hameed, Z., Ahn, S., & Cho, Y. (2010). Practical aspects of a condition monitoring system for a wind turbine with emphasis on its design, system architecture, testing and in stallation. Renewable Energy, 35(5), 879–894.

[12]Hopewell, P., Castro-Sayas, F., & Bailey, D. (2006). Optimising the design of offshore wind farm collection networks, In Proceedings of the 41st international universities power engineering conference, 2006. UPEC’06 (pp. 84–88). IEEE.

[13]Jaffe, A. B., & Felder, F. A. (1996). Should electricity markets have a capacity require ment? If so, how should it be priced? The Electricity Journal, 9(10), 52–60.

[14]Jensen, N. O. (1983). A note on wind generator interaction.

[15]Jiménez-Fernández, S., Salcedo-Sanz, S., Gallo-Marazuela, D., Gómez-Prada, G., Maellas, J., & Portilla-Figueras, A. (2014). Sizing and maintenance visits optimization of a hybrid photovoltaic-hydrogen stand-alone facility using evolutionary algorithms. Renewable Energy, 66, 402–413.

[16]Kusiak, A., & Song, Z. (2010). Design of wind farm layout for maximum wind energy capture. Renewable Energy, 35(3), 685–694.

[17]Lackner, M., & Elkinton, C. (2007). An analytical framework for offshore wind farm layout optimization. Wind Engineering, 31(1), 17–31.

[18]Lawless, J., & Crowder, M. (2004). Covariates and random effects in a gamma process model with application to degradation and failure. Lifetime Data Analysis, 10(3), 213–227.

[19]Li, Q., & Wang, H. (2016). Two-stage simulation optimization for optimal development of offshore wind farm under wind uncertainty. In Proceedings of the 2016 winter simu lation conference.

[20]Mittal, A. (2010). Optimization of the layout of large wind farms using a genetic algorithm. Case Western Reserve University.

[21]Mosetti, G., Poloni, C., & Diviacco, B. (1994). Optimization of wind turbine positioning in large windfarms by means of a genetic algorithm. Journal of Wind Engineering and Industrial Aerodynamics, 51(1), 105–116.

[22]Nguyen, T. A. T., & Chou, S. (2018). Maintenance strategy selection for improving cost effectiveness of offshore wind systems. Energy Conversion and Management, 157, 86–95.

[23]Nilsson, J., & Bertling, L. (2007). Maintenance management of wind power systems using condition monitoring systems—Life cycle cost analysis for two case studies. IEEE Transactions on Energy Conversion, 22(1), 223–229.

[24]Salcedo-Sanz, S., Gallo-Marazuela, D., Pastor-Sánchez, A., Carro-Calvo, L., Portilla Figueras, A., & Prieto, L. (2013). Evolutionary computation approaches for real off shore wind farm layout: A case study in northern Europe. Expert Systems with Applications, 40(16), 6292–6297.

[25]Salcedo-Sanz, S., Gallo-Marazuela, D., Pastor-Sánchez, A., Carro-Calvo, L., PortillaFigueras, A., & Prieto, L. (2014). Offshore wind farm design with the Coral Reefs Optimization algorithm. Renewable Energy, 63, 109–115.

[26]Sinha, Y., & Steel, J. (2015). A progressive study into offshore wind farm maintenance optimization using risk based failure analysis. Renewable and Sustainable Energy Reviews, 42, 735–742.

[27]Song, M. X., Chen, K., He, Z. Y., & Zhang, X. (2014). Optimization of wind farm micro siting for complex terrain using greedy algorithm. Energy, 67, 454–459.

[28]Tian, Z., Jin, T., Wu, B., & Ding, F. (2011). Condition based maintenance optimization for wind power generation systems under continuous monitoring. Renewable Energy, 36(5), 1502–1509.

[29]Van Bussel, G., Zaaijer. M., 2001. Reliability, availability and maintenance aspects of large-scale offshore wind farms, a concepts study. In Proceedings of MAREC.

[30]Van Haaren, R., & Fthenakis, V. (2011). GIS-based wind farm site selection using spatial multi-criteria analysis (SMCA): Evaluating the case for New York State. Renewable and Sustainable Energy Reviews, 15(7), 3332–3340.

[31]Wan, C., Wang, J., Yang, G., Li, X., & Zhang, X. (2009). Optimal micro-siting of wind turbines by genetic algorithms based on improved wind and turbine models. In Proceedings of the 48th IEEE conference on decision and control, the 2009 28th Chinese control conference (pp. 5092–5096).

[32]Wan, C., Wang, J., Yang, G., & Zhang, X. (2009). Optimal siting of wind turbines using real-coded genetic algorithms. In Proceedings of European wind energy association conference and exhibition.

[33]Zhao, H. (2018). A condition-based opportunistic maintenance strategy for multi-com ponent system. Structural Health Monitoring 1475921717751871.