让AI自动化，IBM四篇AutoAI文章亮相AAAI 2020

这次要跟大家分享有关AutoAI的报道，素材源自IBM实验室。这篇报道简要概述了IBM在AAAI 2020演讲的4篇AutoAI进展的文章。

 

云计算产业化落地至今，从基础设施即服务（IAAS）到平台即服务（PAAS），再到现在的软件即服务（SAAS），甚至有人提出了分析即服务（AAAS），都是为了让有更多其他专业背景的人有能力参与到数据本身的逻辑研究中去，而不用耗费过多的精力在前期的过程上。

 

这样的想法在如火如荼的人工智能领域也同样适用，国内国外凡是叫的上名的大厂也都致力于自动化AI平台的研发，并取得了一定的进展。距离任何人都可以根据原始数据构建机器学习流程，甚至都不用写代码和调参的时代已经不远了。

 

今年，IBM就带着四篇AutoAI文章亮相AAAI 2020，作为数据科学领域的业界领袖，它又会带给我们怎样的思维火花呢！

 

https://arxiv.org/abs/1905.00424

大多数AutoAI的研究都集中在三个领域：模型选择、架构选择以及适当的超参数的选择。由MIT-IBM Waston实验室和IBM AI Research的Liu Sijia和Parikshit Ram领导的工作描述了一种自动化数据科学系统，当该系统被输入一个新的数据集时，它必须确定最合适的模型和该模型最高准确性的超参数（例如学习率）。在机器学习中，此任务也被称为CASH问题-组合算法选择和超参数调整的缩写。

 

 

通常情况下，CASH的解决方案包括随机搜索和基于bandit的方法，例如连续减半和超频。他们都涉及模型的和超参数配置的随机抽样，并且模型和超参数都会根据统一的概率分布进行抽样。

IBM的研究人员提出直接算子拆分优化方法来解决CASH问题的思路。首先，搜索过程会自动确定数据准备步骤的顺序：例如获取列的对数，列合并，异常值删除，新功能创建等；同时，该过程还在数据科学流程的最下游进行了建模选择。

基于以上的考虑，IBM提出了一种方法，该方法可以根据数据准备的步骤来确定最佳模型，当然，倒推回去也是可以的。这种方法将高维复杂的AutoAI问题分解为了简单低维的子问题。Waston实验室AI基金会副总裁Alex Gray说,这种方法处理搜索有助于找到最佳流程。他补充道：否则，在流程中选择的初始步骤会限制后面的选择，通常这种选择都不是最佳的。

但是，上述选择最佳流程的方法会带来高昂的计算成本。因此，研究人员通过了乘数交替方向法（alternating direction method of multipliers，ADMM）解决了这一挑战，该方法对于最佳的定义比简单地预测最高准确性要丰富得多，因为在现实的产业化应用当中，除了最高准确性，还应该考虑其他因素，例如预测时间deadline、银行贷款行业的公平性约束等。Gray表示目前该方法几乎可以将所有的约束条件考虑进去，并提供严格有效的优化。

 

作者Liu Sijia也补充道，我们的方法在从UCI ML & OpenML数据库收集的二进制分类数据集上表现出了独特的效果，与已经开放源代码的其他AutoAI工具包相比，它表现出更佳的灵活性和有效性。

 

https://arxiv.org/abs/1909.07140

另一个IBM团队也试图用其他方法解决CASH问题，由Dimitrios Sarigiannis领导的项目试图通过采样分布来改善随机搜索和基于Bandit的方法。他们开发出了一种称之为用于组合模型选择和超参数调整的加权抽样方法。该方法可以共同处理两种类型的选择，而第一篇文章则包括了所有可能的选择。

 

加权抽样方法提出了一种替代的概率分布，对具有更多超参数的模型进行加权，以便对它们进行更频繁的指数抽样，从而可以对优化空间进行更细粒度的探索。

 

“我们证明，这种加权抽样分布在理论上确定CASH最佳解决方案的可能性要高得多，”苏黎世IBM研究实验室的合作者Thomas Parnell说。“我们还展示了67个表格数据集的实验结果，证明了加权抽样可以增强三种不同的最新CASH方法，在同等预算下实现统计学意义上的显著准确性提升。”

 

Parnell说，该方法的应用非常广泛，包括金融，零售和医疗保健领域，因为该技术可以轻松集成到使用随机搜索或bandit技术进行模型选择和超参数调整的任何AutoAI系统中。

当然，完整的AutoAI系统需要做的不仅仅是模型选择和超参数调整。典型的机器学习流程中还有许多其他组件，例如数据清洗，预处理，功能工程，甚至集成构建。因此，Parnell说，下一步将是看看这种“加权抽样”方法是否可以适用于优化整个流程。

 

https://arxiv.org/abs/1902.10191

并不是所有的AutoAI论文在今天都可以被应用，像图像处理就还处于早期阶段。IBM和麻省理工学院的Aldo Pareja，Giacomo Domeniconi等研究人员开发出了一种新颖的深度神经网络模型，用于学习随着时间推移而演化的图的动态，从而更准确地预测未来的图的特性和结构。

 

该技术可用于涉及动态图处理的任何应用程序上，例如社交网络分析，用户之间的关注是频繁变化的；或者用于金融取证，因为帐户之间的交易是动态的，并且帐户的性质也会随着时间而发生变化，比如涉及洗钱的帐户或遭受信用卡欺诈的用户。

 

未来的人工智能汽车系统应该能够使用包括图形在内的各种输入数据结构。毕竟，大多数机器学习模型都是图形形式的深层神经网络。获取最佳图形会产生动态图形序列，在此过程中学习到的动态特性可能有助于设计更有效的优化程序并提高Auto AI效率。

项目负责人Jie Chen说，该方法克服了以前模型的缺点-因为它可以处理图形节点频繁出现和消失的问题。他说：“与通过人为填充不存在节点的先前模型相比，该模型具有更好的预测精度。” Chen补充说，下一步将是将模型应用到大图的处理上，但由于计算成本高，这将非常棘手。他说：“我们正在考虑在FastGCN上运用我们先前的工作来解决图形尺寸方面的挑战，并用注意力模型代替递归模型来解决时间维度上的挑战，”

 

https://arxiv.org/abs/1909.04079

IBM在AAAI上发表的第四篇论文是通过不确定与辅助间隔预测器的匹配来建立校准深度模型。“不确定性估计绝对是人们对理想的AutoAI系统的期望，” Parnell说。“在某些应用程序中，例如医疗保健，能够量化结果机器学习流程对其预测结果有多确定是非常重要的。

 

”这项工作可能为AutoAI提供潜在的更好的个性化建模方法或更强大的组件，除了常用方法，例如香草神经网络，之前的AutoAI方法仍然非常耗时，并且扩展性很差，还有很大的改进空间。但这就是研究的全部内容，因为当我们到达那里时，AutoAI可能会对很多业务产生重大影响。

 

“你可以想象一下，自动化AI使非行业内专家构建和使用机器学习系统来处理目标任务，例如数据分析，图像分类，视频检测等，” Liu说。毕竟，任何用户都可以使用相机拍照，而不必知道相机是如何创建照片的。AutoAI也是如此：任何用户都可以构建AI模型，而无需了解AI块如何真正工作的内部机制，这没有问题。”