扯扯人工智能

这是第❽篇神扯：扯扯人工智能。

 

当我们说起云上的人工智能应用时，确切讲，通常都是指AI on Cloud。

 

说白了，就是云服务商把AI能力做成按需服务的资源，提供给客户使用。

 

 

然而，对于大多数客户来说，他们需要的不是散装能力，而是套餐能力。

可是，这个套餐可不可口，还是很有学问的，因为配料很多。

 

通常的AI套餐，一般有6层配料，每层都不好料理。

配料多了，食材的选择和搭配就考验“大厨”们的水平，每种“食材”必须都要发挥到极致，味道才会可口，否则往往就会“难以下咽”。

 

那么最合理的搭配应该是什么样呢？

一代“名厨”英特尔给出了标准菜谱——

 

英特尔是这样帮助云服务商打造“AI套餐”的，每种食材，都经过了他的亲手精心烹制。

 

首先看，最下面一层，采用第二代英特尔®️至强®️可扩展处理器，强劲算力输出。

 

 

在这一代处理器上，英特尔内置了一个针对深度学习加速的黑科技，叫做英特尔DL Boost，它采用矢量神经网络指令(VNNI)，可将推理工作负载的速度提升高达14倍1。

 

这个VNNI矢量神经网络指令，牛在哪儿呢，通俗点讲，同样处理深度学习的卷积运算，别人需要三个单独指令，而VNNI只需要一条指令就搞定，省时省力！

 

 

不仅是处理器方面的提升，如果碰到以内存为中心的应用，比如机器学习推理，还可以采用英特尔®️傲腾™持久内存，性能逼近DIMM内存，成本却大幅降低，这样，云服务商就能为客户交付更具性价比的AI基础设施。

 

---

 

我们再看函数库这一层，人工智能本质上是“数学”问题，离不开各种数学例程、函数的支持。

 

这些函数，相当于一些子程序，供上层的AI框架调用，来完成一些基础计算和变换，比如傅里叶变换、矢量统计等等。

 

云服务商在准备AI“配菜”的时候，这部分配菜可选择公开的标准库，也可以选择英特尔优化过的英特尔®️数学核心函数库（Intel®️ MKL）。

 

 

这套数据核心函数库，主要包含了4大类工具，被英特尔针对自家处理器，进行了专门优化，性能改善显著，远远超出了标准函数库。

 

---

 

接下来看机器学习框架这一层，所谓框架，其实是一系列流程或者套路，来完成某项机器学习的任务。

 

主流的框架有TensorFlow、Caffe、MXNet等，都有开源通用版本，但是，在这个地方，我们还是推荐采用英特尔优化过的版本。

 

就拿流行度很高的TensorFlow来说吧，这个框架是谷歌创建的，英特尔和谷歌两大巨头携手合作，充分利用英特尔®️至强®️可扩展处理器平台的优势，对20多种拓扑进行了优化。

 

 

这些拓扑，几乎涵盖了AI应用的主流场景。它们都可以利用英特尔®️高级矢量扩展512（英特尔®️AVX-512）等CPU特性，来提升性能。
 

“AVX”是英特尔的矢量指令集，而英特尔®️AVX-512支持的数据宽度更大，非常适用于深度学习这类计算密集型的场景。

 

英特尔不仅优化了TensorFlow，对其它流行的框架比如Caffe、MXNet都进行了优化，以便能把包括英特尔®️AVX-512在内的特性都发挥到极致。

这种优化的效果，是显而易见的，再拿MXNet举个例子，经过英特尔的一番骚操作，MXNet的潜能也被提升了很多超多：

使用 Inception v3 拓扑将图像分类性能提速高达 24 倍2； 

使用 GNMT2 将文本翻译提速高达 4 倍2； 

使用 SSD-VGG162 将物体检测提速高达 22 倍2；

使用 DCGAN 将生成式对抗网络提速高达 35 倍2。

 

---

 

最后，来到最上面一层，是资源编排层，作用就是如何按照深度学习框架的要求，快速滴把基础资源（容器/虚机）安排好，并调度运转起来。

最常用的编排工具就是K8S，当然也可以用其他的，比如OpenStack。

 

不管采用何种编排工具，英特尔都做到了“未雨绸缪”，新一代至强可扩展处理器针对工作负载进行优化，充分发挥AVX-512的矢量计算优势。

 

同时，英特尔携手合作伙伴在K8S环境下提供这些技术：①节点特性发现②针对容器化负载的CPU锁定与隔离③大内存页面支持。

 

这些，都让英特尔®️至强®️可扩展处理器，在K8S环境下，如鱼得水。

 

---

 

从处理器、持久内存，到函数库、机器学习框架，再到编排工具，硬件+软件，英特尔进行了全面的调优。

 

最终，呈现云服务商呈现给用户的，就是一个完美的AIaaS套餐，每一层都优化到了极致。

 

当然，英特尔不仅仅满足为AI on Cloud的方案赋能，在AI in Cloud领域，同样煞费苦心。

 

什么又是AI in Cloud的呢？

 

其实就是云服务利用AI的能力，提高自家数据中心的智能化程度、可运维性，降低运营、运维成本等等。

举个例子吧，英特尔现在提供一种“遥测”技术，利用英特尔®️至强®️可扩展处理器内置的传感器，来测量每台服务器的功率。

 

再结合服务器机架上的温度传感器、英特尔®️至强®️可扩展处理器配备的出口/入口及气流传感器，可以获得精确的散热数据。

 

 

所有的“遥测”数据，再辅以人工智能的方法，进行分析、处理和展现，从而优化性能、利用率和功率。

 

最终的目标，就像云服务商管理人员所希望的那样：优化PUE指标，降低TCO，提高资源利用率。

 

---

 

 

 

 

参考注释

 

 

1 基准配置：测试结果基于英特尔截至 2017 年 7 月 11 日进行的测试，双路英特尔® 至强® 铂金 8180 CPU @ 2.50 GHz（28 个内核），未启用英特尔® 超线程技术，未启用英特尔® 睿频加速技术；测试配置：测试结果基于英特尔截至 2019 年 2 月 20 日进行的测试，双路英特尔® 至强® 铂金 8280 处理器（28 个内核），启用英特尔® 超线程技术，启用英特尔® 睿频加速技术；

 

2 性能测试中使用的软件和工作负荷可能仅在英特尔微处理器上进行了性能优化。诸如 SYSmark 和 MobileMark 等测试均系基于特定计算机系统、硬件、软件、操作系统及功能。上述任何要素的变动都有可能导致测试结果的变化。请参考其他信息及性能测试（包括结合其他产品使用时的运行性能）以对目标产品进行全面评估。如需了解更多信息，请访问：http://www.intel.cn/performance。性能测试结果基于 2018 年 12 月 6 日进行的测试，且可能并未反映所有公开可用的安全更新。详情请参阅配置信息披露。没有产品是绝对安全的。