高性能计算的学习路线建议

高性能计算的学习路线可以分为以下几个阶段：

1. 基础课程：离散数学基础好的同学可以直接看《算法导论》，该书是算法设计领域非常权威的资料(对应MIT 6.006课程)，比如20年CPC初赛的图BFS算法的伪代码就直接截取自该书。离散数学基础差一点的学习可以看学堂在线邓俊辉老师的《数据结构》公开课，该课程对初学者非常友好。
2. 并行算法优化：并行算法优化不光包括面向树、图等离散对象的算法，也有面向矩阵、多项式等连续对象的算法，包括但不限于LU分解、QR算法、高斯消元、有限元分析、离散傅里叶变换等。这部分与离散算法有所不同的是，需要特别注意数值稳定性、数值淹没、数值算法收敛性等问题。可以参考Timothy-Sauer的《数值分析》。
3. 计算机系统：在算法优化过程中需要特别注意从整个计算机系统层面的宏观思考，而系统既包括单机也包括多机，即包括单核也包括多核。比如一提到“并行”这个词，你就要想到多机器之间的进程级并行、单机器上的线程级并行、指令级的流水线并行等。此外，以空间换时间是个很常用的手段，一提到局部性原理，你就要想到网络、磁盘访问的缓冲区局部性、内存中数组排列的访存局部性、CPU高速缓存中的局部性等。这方面推荐《CSAPP》这本书及其配套的Lab(对应CMU 15-213课程)。
4. 操作系统：操作系统是CS中对编程能力要求最高的一门课，据说OS课的实验完全搞懂了，几万行代码的项目随便上哦。