【IJCAI2022教程】可微分优化:将结构信息集成到训练流程中

来源：专知

本文约1000字，建议阅读5分钟本教程从可微优化的基础开始，讨论如何将优化转换为可微构建块，以便在更大的体系结构中使用。

结构信息和领域知识是训练一个好的机器学习模型的两个必要组成部分，以最大限度地提高目标应用中的性能。本教程总结了如何使用优化作为可区分的构建块，将应用程序中的重要操作信息合并到机器学习模型中。

机器学习模型在许多工业应用和社会挑战中取得了重大成功，包括自然语言处理、计算机视觉、时间序列分析和推荐系统。为了适应不同的应用，将应用中的结构信息和领域知识纳入机器学习模型是训练过程中的一个重要元素。但是它经常依赖于微调和特征工程，而没有系统的方法来适应各种应用。另一方面，运筹学是一种应用驱动的方法，优化问题是在目标应用的知识和约束的基础上制定，以导出可操作的解决方案。优化公式在应用中可以捕获结构信息和领域知识，但优化过程的不可微性和复杂的操作过程使其难以集成到机器学习模型中。

本教程从可微优化的基础开始，讨论如何将优化转换为可微构建块，以便在更大的体系结构中使用。可微优化的直接好处是将优化公式中的结构信息和领域知识集成到机器学习模型中。本教程的第一部分涵盖了各种应用，将优化作为机器学习模型中的可微单元，以适当地处理强化学习、控制、最优运输和几何中的操作任务。实验表明，可微优化方法比神经网络更能有效地模拟操作过程。本教程的第二部分侧重于将各种工业和社会挑战作为可区分的优化层集成到训练管道中。这种机器学习模型和应用驱动优化的集成导致端到端学习，以决策为中心的学习，训练模型直接优化目标应用中的性能。最后，本教程总结了可微优化的一系列应用及其计算限制，并为读者提供了各种开放的方向。

https://guaguakai.github.io/IJCAI22-differentiable-optimization/