本章主要介绍PyTorch中的向量化思想。其中6.1节和6.2节介绍向量化的基本概念和广播法则;6.3节介绍PyTorch中的高级索引,这也是向量化思想的重点,通过高级索引操作可以简化向量的计算;6.4节将结合向量化思想解决深度学习中的三个实际问题。
向量化思想在高维数据处理时能够有效提升计算效率
1. 向量化计算
向量化计算是一种特殊的并行计算方式。一般来说,程序在同一时间内只执行一个操作,而并行计算可以在同一时间内执行多个操作。向量化计算是指对不同的数据执行同样的一个或一批指令,或者把指令应用到一个数组或向量上,从而将多次循环操作变成一次计算。
向量化操作可以极大地提高科学运算的效率。尽管Python本身是一门高级语言,使用简便,但是其中存在着许多低效的操作,例如for循环等。因此,在科学计算中应当极力避免使用Python原生的for循环,尽量使用向量化数值运算