干货！一种面向条件梯度优化方法的迭代效率提升策略

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

条件梯度方法(Conditional Gradient Method)是一种经典的机器学习优化算法。CGM的运行效率取决于迭代次数和每次迭代的计算代价，现有的研究往往聚焦于减少迭代次数，忽略了对每次迭代的效率提升。本文着重研究了CGM算法中的迭代步骤，将条件梯度算法的迭代过程表达为一种最大内积搜索(MaxIP)问题，并首次提出一种具有理论保障的随机哈希算法来降低条件梯度算法的迭代损耗。在保持迭代次数不变的前提下，该方法在每一次迭代中将关于参数量N的线性复杂度O(n)降为亚线性的O(n1/2)，为核支持向量机和神经网络等机器学习模型的大规模训练提供了一种新的优化策略。

本期AI TIME PhD直播间，我们邀请到莱斯大学博士生——徐兆卓，为我们带来报告分享《一种面向条件梯度优化方法的迭代效率提升策略》。

徐兆卓：

2017年获武汉大学电子信息工程专业学士学位，2019年毕业于斯坦福大学(Stanford University)电子工程系获硕士学位，现为莱斯大学(Rice University)计算机系在读博士生，师从Anshumali Shrivastava教授。主要研究方向为近邻检索及其在大规模机器学习中的应用，研究成果发表于NeurIPS，ICLR,，KDD，EMNLP，WSDM等顶级会议。2021年获Ken Kennedy研究所英国石油奖研金。