Tensorflow在CPU上的加速Intel_MKL工具

TensorFlow *是深度学习领域中广泛使用的机器学习框架，要求有效利用计算资源。为了充分利用英特尔®架构并提取最大性能，已使用面向深度神经网络的英特尔®数学内核库（英特尔®MKL-DNN）原语对TensorFlow框架进行了优化，这是针对深度学习应用程序的流行性能库。有关优化和性能数据的更多信息，请参见此博客文章TensorFlow *现代英特尔®架构上的优化。

Anaconda *现在使AI社区可以方便地在TensorFlow中实现高性能计算。从TensorFlow v1.9开始，Anaconda已经并将继续使用用于深度神经网络的英特尔®数学内核库（Intel®MKL-DNN）原语来构建TensorFlow，以在您的CPU中提供最佳性能。

本安装指南介绍了几种获取英特尔优化TensorFlow的方法，包括现成的软件包或从源代码构建软件包，这些软件包可以方便地归类为  Binaries，Docker镜像，从源代码构建。  

Binaries

从Anaconda * Cloud安装针对TensorFlow *的最新英特尔®优化

适用于Linux *，Windows *，MacOS *

TensorFlow *版本：2.1.0

安装说明：

如果您没有conda软件包管理器，请下载并安装Anaconda

Linux和MacOS

打开Anaconda提示符并使用以下说明

conda install tensorflow

 

如果默认情况下您的anaconda通道不是优先级最高的通道（或者您不确定），请使用以下命令来确保通过英特尔优化获得正确的TensorFlow

conda install tensorflow -c anaconda

Window

打开Anaconda提示符并使用以下安装:

conda install tensorflow-mkl（推荐使用，测试有效）
要么
conda install tensorflow-mkl -c anaconda

除了上述安装方法外，针对TensorFlow的英特尔优化还作为轮子，泊坞窗映像和conda软件包分布在英特尔渠道上。请遵循安装过程之一来获取英特尔优化的TensorFlow。

注意：由Intel 分发的所有二进制文件都是 在带有gcc 4.8.5和glibc 2.17的centOS容器中针对TensorFlow v2.0标签构建的，具有以下编译器标志（如下所示，传递给bazel *） 

--cxxopt=-D_GLIBCXX_USE_CXX11_ABI=0 --copt=-march=corei7-avx --copt=-mtune=core-avx-i --copt=-O3 --copt=-Wformat --copt=-Wformat-security --copt=-fstack-protector --copt=-fPIC --copt=-fpic --linkopt=-znoexecstack --linkopt=-zrelro --linkopt=-znow --linkopt=-fstack-protector

从英特尔渠道安装针对TensorFlow *的最新英特尔®优化

适用于Linux *

TensorFlow *版本：2.1.0

安装说明：

打开Anaconda提示符，并使用以下说明。适用于Python 3.6和3.7。

conda install tensorflow -c intel

测试结果：

安装：conda install tensorflow-mkl

安装成功会有下图红框的三个工具包

 自己在Windows系统测试TensorFlow2.1：

CPU型号：Intel i7-4790 CPU@3.6GHz

普通 Tensorflow 和 Tensorflow_MKL

对比训练过程中每Epoch结果发现：Tensorflow_MKL：average:25.4s，Tensorflow：average:59.5s

Tensorflow_MKL/Tensorflow=42.7%

性能提高:57.3%

对于预测推理过程：测试图片256*256 彩色图片：

Tensorflow_MKL：约19 ms，Tensorflow：约86ms

性能提高：4-5倍左右。

此处不同的CPU型号测试结果不同，仅供参考。

 

参考链接： https://software.intel.com/content/www/us/en/develop/articles/intel-optimization-for-tensorflow-installation-guide.html