CSDN专访中科院贾海鹏：给异构开发者的六个建议

日前，CSDN专访了中科院助理研究员贾海鹏，他就异构计算的趋势、开发现状、AMD新推出的hUMA(异构统一内存访问)技术等话题分享了自己的看法。

CSDN专稿 异构计算被视为计算机处理器继单核、多核之后的第三个时代，它将实现使用不同类型指令集和体系架构的计算单元，比如CPU和GPU之间的“协同计算、彼此加速”，从而突破CPU发展的瓶颈，有效解决能耗、可扩展性等问题。而异构开发也在走进更广的领域和开发者。日前，CSDN专访了中科院助理研究员贾海鹏，他就异构计算的趋势、开发现状、AMD新推出的hUMA(异构统一内存访问)技术等话题分享了自己的看法。

CSDN：请您先简单介绍一下自己以及目前主要关注研究的领域。

贾海鹏：大家好，我是贾海鹏，2013年1月毕业于中国海洋大学，获博士学位。现为中国科学院软件研究所并行科学与计算实验室助理研究员。主要科研方向为： 众核体系架构下并行编程方法与优化技术研究 。

CSDN：您如何看待异构计算/编程领域这些年来的技术演变、应用拓展状况及未来发展？

贾海鹏：近年来，异构计算受到了越来越多的关注，这主要是因为由于材料、制造工艺、功耗和散热的限制，传统的通过提升CPU时钟频率和内核数量来提高计算能力已经变的越来越困难。与此同时，GPU等专用计算单元拥有相对CPU高的多的计算能力、数据传输带宽以及性能功耗比，但计算能力却远没有得到充分利用。在这种情况下， 如何有效利用计算系统中各种计算部件，并根据不同计算部件的硬件架构特点调度运行相应的计算任务，以充分发挥不同计算部件的计算能力，成为研究热点，异构计算也应运而生。

总体上来讲，异构计算共经过了三次技术演变：2008年GPGPU（General-purpose computing on GPU）的提出及应用推广，GPU架构的革命性变革，使GPU具备了执行通用计算任务的能力；2010年CPU+GPU异构计算，CPU与GPU协同运作，充分发挥系统中各种处理器的计算能力；2011年即将来的异构融合计算，CPU与GPU（协处理器）集成到同一块芯片上，以期待实现内存共享和统一地址访问，消除不同处理器间的数据传输消耗。

当前，异构计算已经涵盖了许多计算领域，从传统科学计算（分子动力学，数值分析、计算流体动力学，量子化学等）到桌面级应用（图像处理、多媒体、立体3D制作、物体识别等），都可以看到异构计算的身影。

从某种意义上说，CPU+GPU（协处理器）的异构计算是未来计算的发展趋势。 2012年11月发布的世界TOP500高性能计算机，采用异构架构的高性能计算机有62套，其中Titan高性能计算机更是荣膺榜首。而在桌面级甚至是移动应用领域，也有越来越多的应用程序移植到GPU上，以期望取得更好的性能或者是更好的能效比。面对繁杂的计算任务，根据处理器硬件架构的特点，让不同类型的处理器各司其职，比如CPU负责逻辑密集型任务，而将计算密集型和数据密集型任务交给拥有更高计算能力和存储带宽的GPU负责，才能充分发挥其计算性能。充分发挥计算系统中不同架构处理器在不同方面的优势，从而实现系统整体计算能力的最大化（或者最优化）利用是异构计算的真正意义所在。

然而，个人认为，异构计算推广还需要解决两个主要问题：
1） 编程难度大，开发成本高。 GPGPU编程的一个重要特点是“实现容易，优化难”：要达到理想性能，需要针对硬件特征和应用程序特点，投入大量精力，进行各种优化方法组合的尝试、折中和权衡；而优化工作的开展会增加程序出现bug的可能性。不幸的是，虽然AMD和NVIDIA都发布了各自的调试工具，然而目前GPU程序的调试依然非常困难。软件开发生态的构建是否能跟上硬件发展的步伐，是异构计算推广的关键。

2） 不同处理器间存在着“昂贵”的数据传输开销。 当前，CPU+GPU异构计算的模式是首先CPU将计算任务及所需数据传递给GPU，GPU计算任务完成后，在将计算结果返回给CPU。CPU和GPU之间的数据传输消耗了大量时间，甚至会完全抵消我们耗费心血优化GPU程序所带来的性能提升。减少甚至是消除不同处理器间的数据传输开销，是异构计算发展的一个重要问题。当前AMD发布的APU和Intel发布ivy bridge已经做了很好的尝试。但两者都没有真正的实现异构融合：共享内存（统一地址访问）以及完善的任务调度机制（合适的任务调度到合适的处理器上运行）。而AMD采用hUMA技术的HSA（Heterogeneous System Architecture，异构系统架构）可能会带来新的尝试和突破。比较值得期待。

CSDN：作为领域内的专业人士，您认为哪些开发者应该优先学习异构编程的技能？未来异构编程的技能会成为开发者的通用技能吗？

贾海鹏：采用异构编程无非有两个目的：一是追求高性能，二是追求最佳能效比。因此，开发实时性较强、性能要求较高或者注重能效比应用程序的开发人员可关注下异构计算，并学习相关技术。

个人认为异构计算是未来计算的发展趋势。尽管厂商可能会尽可能的隐藏异构计算的底层细节，提供开发人员统一的开发接口，以降低开发人员负担。甚至厂商可能会做到不会改变开发者编程习惯（当然这个很难）。然而，建立异构编程观念，掌握异构编程技术应该对未来软件开发人员的重要要求。

CSDN：您如何看待AMD最新推出的hUMA(异构统一内存访问)技术对GPUCPU融合带来的影响力，它有哪些优势和劣势？(优缺点)

贾海鹏：hUMA技术对异构计算最大的贡献是实现了CPU和GPU的内存共享，解决了CPU和GPU间数据传输所带来的时间消耗，应该说是异构计算一次大的技术突破。然而，这个技术如何解决内存一致性问题，CPU和GPU共享内存是否会增加本来已经非常困难的异构编程和优化的难度，整个编程生态是否能够跟上硬件发展的步伐，让我们拭目以待。

CSDN：HSA帮助开发者更高效、更容易的进行开发，并获得可观的性能提升及功耗降低，但这还需要一至两代产品更新才能实现。在当下，开发者学习和使用异构编程有价值吗？

贾海鹏：HSA确实是异构计算的一次重要技术革新，表现究竟如何我们还需拭目以待。但在当前，异构计算依然是研究特点，CPU+GPU的异构计算模式在众多领域中都得到了广泛的应用。对于开发人员来说，特别是对于之前我提到过的对异构计算有需求的开发人员来说，学习异构编程和技术，掌握最底层和最前沿的异构编程和优化方法，非常重要，也非常有价值。

CSDN:C++大师Herb Sutter曾发表过一篇著名的文章《The Free Lunch Is Over》，他表示程序员不断获取硬件升级带来帮助的日子已经结束了，并行计算或异构计算将是未来的趋势。Intel在内的公司不断推出了多核、众核处理器，虽然包括AMD和英特尔等公司做了很大努力，开发者驾驭多线程的编程难度很大，现在学习异构开发的难度依然很大吗？开发工具、函数、算法成熟吗？

贾海鹏：尽管厂商在降低异构编程难度上做了大量工作，也有效推动了异构计算的发展。但就我的开发经验来说，异构编程“实现容易，优化难”的特点依然存在：

1） 将程序移植到异构平台上相对简单，但是要获得高性能，需要进行不断尝试、劳心劳力的优化工作。例如GPU程序优化是各种优化方法相互权衡和折中的过程，很难说最大化某种优化方法后就一定会带来性能提升；而针对那些线程间负载不均衡或者是线程间存在依赖的非规则应用，在GPU这种大规模细粒度并行处理上的优化更是困难，需要如persistent thread，Uberkernel，coarse-granularity parallelism，queue等新优化方法的开发和使用。

2） 虽然各厂商都推出了各自的调试工具，异构程序特别是GPU程序的调试依然非常困难。

总之，虽然各厂商对异构编程都建立了良好的开发生态，但异构程序的开发成本依然很高，编写高性能的异构程序依然很困难。

CSDN:对想学习或入手异构编程的开发者有什么建议吗？

贾海鹏：异构编程就是追求高性能和好的能效比，其本质就是实现算法特性向硬件架构特征的高效映射。因此，根据我的经验，学习异构编程需要以下几点：
1） 异构编程绝对不是对应用程序的简单并行化，需要对算法的深入了解
2） 异构编程，程序性能与具体硬件架构相关，需要对目标硬件架构有个深入了解
3） 可从一个应用程序（比如矩阵乘）出发，逐步了解异构程序编写和优化的主要技术
4） 多coding，经验很重要
5） 多看文档，特别是随SDK发布的编程指南和优化指导等官方文档
6） 随时关注硬件发展

地址：https://www.cnblogs.com/lifan3a/articles/4607647.html