在ISC2016上,浪潮公司发布了深度学习计算框架Caffe-MPI for KNL。
在伯克利caffe架构的基础上,Caffe-MPI采用成熟的MPI技术对Caffe予以数据并行的优化,其目标是解决深度学习计算模型训练的效率问题。浪潮针对HPC系统架构技术设计,完成了多机多卡的并行化开发,并完全保留了原始caffe架构的特性。
- 采用Lustre存储+IB网络+HPC集群,基于Lustre并行存储采用多进程+多线程机制并行读取训练数据,实现较高的IO吞吐。
- 采用IB网络实现高速互联网,实现参数的快速传输和模型更新。
- 采用数据并行机制,利用HPC集群实现大规模训练。
- 支持多机多卡同时训练,并可以部署到大规模训练平台上对大规模数据样本的训练。
KNL——Knights Landing,是英特尔第二代至强Phi芯片,既可以做协处理器,也可以单独做中央主处理器,处理器核心数量超过72个,并支持四线程,最多拥有288个线程,双精度浮点性能超过3TFlops,单精度则超过6TFlops。(参见:英特尔院士概述深度学习愿景与优化,Caffe for Xeon Phi成亮点)。
深度学习任务的高性能计算需求是KNL的核心目标之一,Caffe-MPI for KNL让深度学习用户可以选择最贴合自身实际应用的异构加速技术。
机器学习课程推荐:
“统计机器学习入门——老司机带你读经典”系列课程使用经典的ISLR(An Introduction to Statistical Learning with Applications in R)为教材,结合具体案例,介绍统计学习的基本概念和常用算法,希望大家能够在以下方面有所收获:
- 统计机器学习的基本概念和方法论。
- 机器学习可以解决什么问题?
- 机器学习技术如何解决这些问题?
- 实际应用中有哪些需要注意的问题和技巧?