NSDI'17-论文阅读［CherryPick:Adaptively Unearthing the Best Cloud Configurations for Big Data Analytics］

CherryPick是在刚过去的NSDI2017上发表的一篇文章。很欣喜地看到顶会论文作者上出现了阿里的身影。虽然不知道阿里在里面是什么角色……不过相对于只能看到微软或者谷歌的好多了

这两年，不管是NSDI，还是OSDI，都有关于资源推荐预测的论文，可以看出这块现在关注度还挺高的。上次去参加的技术沙龙，和一家国内云厂商经理聊天，他们的下一步也是要做资源预测来辅助调度。

那我们来一起看看这篇论文是怎么做的。首先描述一下CherryPick解决的问题的场景：

    你需要在公有云上运行一个大数据相关批处理任务。这时候你来到阿里云界面上，准备买几台虚拟机。但是玲琅满目的可选虚拟机的配置，让你不知道应该选哪种配置好。如果买最高的配置吧，费用又太高了（毕竟阿里云也不便宜）。如果买低配吧，可能程序运行的时间又会太慢了。这时候，就可以用CherryPick了。你输入你的预算花费、能够接受的程序运行时间，CherryPick就能给你推荐一个花费少、时间短的机器配置。waoooo，amazing～

从上面的场景描述可以看出，CherryPick用于最佳公有云机器配置推荐，也可以理解为对任务的运行时间估计，也可以理解为对任务所需资源的估计。下面我们详细看看CherryPick的设计。

一、背景介绍

在如今呢，是越来越多的大数据分析在云端运行，比如说有Map－Reduce、深度学习等等。这些应用在提交时，需要选择所需的机器配置。但是一般数据科学家们并不知道如果选择机器配置。据统计，在同样的运行时间下，不同的机器配置所需的花费，最多相差了12倍。因此一个自动的预测推荐功能是有存在的价值的。