optimal control via neural networks : a convex approach

读后感：
我们都知道深度神经网络，一般来说输出对于输入都是非凸的，包含很多局部最优点，所以在优化过程中很容易陷入局部最优情况。在对稳定性要求很高的系统控制情境下（比如电力系统控制，航天系统以及工业控制），这种多个局部最优解并且没有全局最优收敛性保证的情况是我们非常不愿看到的，也一定程度限制了目前深度模型在这些行业中的应用。
yet few research investigated how to integrate deep learning models into real-time closed-loop control of physical systems.
Neural networks, because of their structures, are generally not
convex from input to output. Therefore, many control applications (e.g., where real-time decisions
need to be made) choose to favor the computational tractability offered by linear models despite their poor fitting performances.
该算法不仅有良好的预测准确率还有良好的计算优化性能。
我们的工作的另一个主要贡献是，我们明确证明ICNN可以表示所有的凸函数和系统动力学，并且比广泛使用的凸分段线性逼近具有指数更高的效率。

The network shown in Fig. 2(b) is a convex function from inputs to output if all weights U;V;W;D1;D2;D3 are non-negative, and all activation functions are convex and nondecreasing (e.g.ReLU).
therefore ensuring the mapping from ut to any future states and outputs remains convex.
由于我们没有限制控制空间，并且我们在系统转换动态中明确包含了多个先前的状态，因此状态空间上的非递减约束不应该大大限制表示容量。 在第3节中，我们从理论上证明了可表示性建议的网络。
For implementation, the gradients can be convinently calculated via existing modules such as Tensorflow viaback-propagation
我们建议使用ICNN(或ICRNN)来拟合函数，而不是直接寻找仿射函数的最大值，一个关键原因是前者比后者更有效地参数化。如定理2所述，K个仿射函数的最大值可以用一个具有K层的ICNN表示，其中每层只需要一个ReLU激活函数。然而，对于具有K个ReLU激活函数的单层ICNN，可能需要最大2K个仿射函数才能准确表示。因此，在实践中，训练一个好的ICNN要比找到一组好的仿射函数容易得多。

能耗领域，安全稳定的运行是优化问题的原则和前提，而一般的神经网络随机性太强，安全性不够，所以这篇凸优化神经网络的突出优点在此，在能耗控制领域实验也以证明其优越点。

参考文献：
1.optimal control via neural networks : a convex approach
2.https://www.jiqizhixin.com/articles/2019-01-10-8