《构建实时机器学习系统》一1.2 机器学习发展的前世今生

1.2　机器学习发展的前世今生

1.2.1　历史上机器学习无法调和的难题

早在 2011年，笔者之一彭河森正在谷歌总部实习的时候，机器学习的应用还主要集中在几个互联网巨头手里。当时，机器学习的大规模应用存在以下三个方面的限制。
1.运维工具欠缺
就拿灵活开发流程来说吧，早在 2011年，谷歌、亚马逊等公司开发了内部自有的协同部署工具，而开源协同部署工具 Jenkins才刚刚起步，不少公司对服务器集群的管理还停留在 rsync 和 ssh 脚本阶段。机器学习的应用往往需要多台服务器各司其职、协同作业，这也增加了机器学习开发、部署的难度。这也解释了为什么早期的机器学习软件包（如 Weka 等）都是单机版的，因为服务器配置真的是太麻烦了。
一个机器学习系统的上线运行，需要前端、后端多个组成部分协调工作。在缺乏运维工具的年代，这样的工作量会大得惊人。人力物力的超高成本投入，有限而且不确定的回报率，这些都让机器学习从业人员在实际应用中难以生存。另外一些机器学习专用工具（如 Hadoop）在早年是很少有人懂得其部署步骤的，一般的工程师都不愿意去主动接触它。在这种情况下，两位笔者都曾经为自己的部门搭建过Hadoop 平台。
2.模型尚未标准化
早在 2011 年，机器学习模型仍然是门派林立，SVM、神经网络等大家之作往往需要与作者直接书写的 libsvm 等软件库相对应，而统一标准化语言的软件包才刚刚出现。当时已经有很多线性模型的软件包，但是如果需要使用随机森林，那么还需要再安装其他软件包，不同软件包的用法又是不一样的。这样的非标准化工作大大加重了开发的工作量，减缓了工作的进度。
机器学习软件行业这种“军阀割据”的格局，导致机器学习从业人员必须对每个对应的模型都要进行二次开发。理论上来说，再好的机器学习模型，在实际系统里面，其地位也就应该是一个可以随时替换的小插件。可是实际上，由于二次开发，往往导致一个模型很难替代和更新，只能与系统黏在一起。
3.全栈人才欠缺
如果有了足够多的全栈人才，那么上面的挑战就都不是问题了。可是由于机器学习的门槛比较高，往往需要拥有多年理论训练的人才能胜任相关工作。如果没有多年的工作经验，那么这样的人员往往对系统运维等工作一窍不通。 找到懂机器学习的人容易，找到懂系统运维的人也不难，可是要找到两样都会的人就非常困难了，这样的情况直接导致全栈人才极度缺乏。如果大家有幸能够供职于一些积累了多年机器学习实战经验的大公司，对机器学习系统架构进行“考古”，就会发现这个公司的机器学习系统架构设计大多取决于该公司架构人员的学历背景，每个公司在重模型还是重架构方面都有自己的倾向性。

1.2.2　现代机器学习的新融合

上面三个问题在 2012 年得到了转变，而这一年，也是两位笔者在亚马逊公司相遇的年份。能站在机器学习应用的前线，目睹这一革命的发生，我们感到非常欣喜。我们有幸成为这个大潮中的第一批用户，而且通过实际经历，了解了这一变化的来龙去脉。经过这几年的历练，我们熟悉了机器学习架构应用的相关知识。更重要的是，我们通过广泛的实验和讨论，总结出了对机器学习架构各个组成部分进行选择、预判的规律，让我们可以通过关键点分析对机器学习的浪潮进行预测评估。这也是我们希望能够通过本书与大家进行分享的经验。
从 2012 年到 2016 年，机器学习领域主要发生了以下这些变化。
1.轻量化运维工具成为主流
运维过于复杂，已经成为众多互联网企业的心头之患。这个痛点在 2012 年到 2016 年这几年之间得到了革命性的解决，其中一马当先的急先锋是Docker，Docker 是一款轻量化容器虚拟机生态系统（本书的第6章会详细介绍Docker，并且其应用实例也会贯穿全书）。在 Docker 出现以前，调试部署的工作往往会占用开发人员大量的时间，例如在开发人员电脑上能够成功运行的程序，部署好了之后却不能正常运行。Docker 的出现，使得开发人员电脑上和生产服务器上面的虚拟机镜像内容完全相同，从而彻底杜绝了这种悲剧的发生，大大缩短了开发部署的周期。
与此同时，新近出现的连续化部署 （Continuous Integration，CI）工具，如Jenkins，自动化了机器学习模型的训练和部署流程，大大提高了模型训练的效率。

1. 机器学习工具标准化
   近几年机器学习软件的出现仍然呈现爆炸式增长的趋势，但是领军软件已经崭露头角。在单机机器学习处理方面，基于 Python 的 Scikit-learn 工具已经成为了监督式机器学习模型的主流。Scikit-learn 具有丰富的机器学习模型模块，并且非常易于进行系统整合，我们在本书的第4章将对其进行详细介绍。与此同时，大数据机器学习方面，Spark 和 MLLib 也成为了主流，MLLib 几乎涵盖了所有的主流分布式机器学习模块，并且非常易于扩展。这些新工具的出现，让开发人员不再需要对模型进行二次开发，从而大大提高了效率。
2. 全栈人才登上历史舞台
   机器学习领域人才大战正酣，吸引了众多优质青年投身于这一领域。我们非常欣喜地看到众多全栈型人才的出现。所谓全栈型人才，即为上可建模型、 调参数，下可搭集群、做部署，左可开讲座、熬鸡汤，右可面风投、拉项目的“多才多艺”型人才。全栈型人才在组织中可以起到掌控技术全局的作用，可以大大缩短开发所需要的时间，减少系统反复修改带来的浪费。