时间复杂度是衡量算法执行效率的一种标准。但时间复杂度并不能跟性能划等号。在真实的软件开发中，即使在不降低时间复杂度的情况下，也可以通过一些优化手段，提升代码的执行效率。毕竟对于实际开发来说，即使是10%的提升，也是非常可观的。
当算法无法继续优化的情况下，我们该如何进一步提高执行效率呢？一种非常简单又好用的方法就是并行计算。如何借助并行计算的处理思想对算法进行改造？
并行排序
假设我们要给大小为8GB的数据排序，且我们的机器可以一次性容纳这么多数据。对于排序来说，最常用的就是时间复杂度为O(nlogn)的三种排序算法：归并排序、快速排序、堆排序。从理论上讲，这个算法问题，已经很难从算法层面优化了。而利用并行的处理思想，我们可以很轻松地将这个给8GB数据排序问题的执行效率提升很多倍。具体实现思路有下面两种。
第一种是对归并排序并行化处理。我们可以将这8GB的数据划分为16个小的数据集合，每个集合包含500MB的数据。我们用16个线程，并行的对这16个500MB的数据集合进行排序。这16个小集合分别排序完之后，我们再将这16个有序集合合并。
第二种是对快速排序并行化处理。我们通过扫码一遍数据，得到数据所处的范围区间。我们把这个区间从小到大划分为16个小区间。我们将8GB的数据划分到对应的区间中。针对这16个小区间的数据，我们启动16个线程，并行地进行排序。等到16个线程都执行结束之后，得到的数据就是有序数据了。
对比这两种处理思路，它们利用的都是分治的思想，对数据进行分片，然后并行处理。它们的区别在于，第一种思路是，先随意对数据分片，排序之后再合并（合并的思路跟归并排序一样）。第二种处理思路是，先对数据按照大小划分区间，然后再排序，排完序就不需要再处理了。这个跟归并和快排的区别如出一辙。
如果要排序的数据规模不是8GB，而是1TB，那问题的重点就不是算法的执行效率了，而是数据的读取效率。因为1TB的数据肯定是在硬盘中，无法一次性读取到内存中，这样在排序的过程中，就会有频繁的数据磁盘读取和写入。如何减少磁盘的IO操作，减少磁盘数据读取和写入的总量，就变成了优化的重点。不过这不是本节的讨论重点，你可以思考下。
并行查找
我们知道，散列表是一种非常适合快速查找的数据结构。
如果我们是给动态数据构建索引，在数据不断加入的时候，散列表的装载因子就会越来越大。为了保证散列表的性能不下降，我们就需要对散列表进行动态扩容。对如此大的散列表进行动态扩容，一方面比较耗时，另一方面比较消耗内存。比如，我们给一个2GB大小的散列表进行扩容，扩充到原来的1.5倍，也就是3GB大小。这个时候，实际存储在散列表中的数据只有不到2GB，所以内存利用率只有60%，有1GB的内存是空闲的。
实际上，我们可以将数据随机分割成k份（比如16份），每份中的数据只有原来的1/k，然后我们针对这k个小数据集合分别构建散列表。这样，散列表的维护成本就变低了。当某个小散列表的装载因子过大的时候，我们可以单独对这个散列表进行扩容，而其他散列表不需要扩容。
还是刚才那个例子，假设现在2GB的数据，我们放到16个散列表中，每个散列表中的数据大小约是150MB。当某个散列表需要扩容的时候，我们只需要额外增加150*0.5=75MB的内存（假设还是扩容到原来的1.5倍）。不管从扩容的执行效率还是内存的利用率上，这种多个小散列表的处理方法，都要比大散列表高效。
当我们要查找某个数据的时候，我们只需要通过16个线程，并行的在这16个散列表中查找数据。这样的查找性能，比起一个大散列表的做法，也并不会下降，反倒有可能提高。
当往散列表中添加数据的时候，我们可以选择将这个新数据放入装载因子最小的那个散列表中，这样也有助于减少散列冲突。
并行字符串匹配
在文本中查找关键词这样一个功能，可以通过字符串匹配算法来实现。之前学过的字符串匹配算法有KMP、BM、RK、BF等。当在一个不是很长的文本中查找关键词的时候，这些字符串匹配算法中的任何一个，都可以表现得非常高效。但是，如果我们处理的是超级大的文本，那处理的时间可能就会变得很长，那有没有办法加快匹配速度呢？
我们可以把大的文本分割成k个小文本。假设k是16，我们就启动16个线程，并行的在这16个小文本中查找关键词，这样整个查找的性能就提高了16倍。对于真实的软件开发来说，这显然是一个非常可观的优化。
不过这里还有一个细节要处理，那就是原本包含在大文本中的关键词，被一分为二，分割到两个小文本中，这就会导致尽管大文本中包含这个关键词，但在这16个小文本中查找不到它。实际上，这个问题也不难解决，我们只需要针对这种特殊情况，做一些特殊处理就可以了。
我们假设关键词的长度是m。我们在每个小文本的结尾和开头各取m个字符的字符串。前一个小文本的末尾m个字符和后一个小文本的开头m个字符，组成一个长度为2m的字符串。我们再拿关键词，在这个长度为2m的字符串中再查找一遍，就可以补上刚才的漏洞了。
并行搜索
前面我们学习过好几种搜索算法，分别是广度优先搜索、深度优先搜索、Dijkstra最短路径算法、A*启发式搜索算法。对于广度优先搜索算法，我们也可以将它改造成并行算法。
广度优先搜索是一种逐层搜索的搜索策略。基于当前这一层顶点，我们可以启动多个线程，并行地搜索下一层的顶点。在代码实现方面，原来广度优先搜索的代码实现，是通过一个队列来记录已经遍历到但还没有扩展的顶点。现在，经过改造之后的并行广度优先搜索算法，我们需要利用两个队列来完成扩展顶点的工作。
假设这两个队列分别是队列A和队列B。多线程并行处理队列A中的顶点，并将扩展得到的顶点存储在队列B中。等队列A中的顶点都扩展完成后，队列A被清空，我们再并行地扩展队列B中的顶点，并将扩展出来的顶点存储在队列A。这样两个队列循环使用，就可以实现广度优先搜索算法。
总结引申
并行计算是一个工程上的实现思路，尽管跟算法关系不大，但是在实际的软件开发中，它确实可以非常巧妙地提高程序的运行效率，是一种非常好用的性能优化手段。
特别是，当要处理的数据规模达到一定程度之后，我们无法通过继续优化算法，来提高执行效率的时候，我们就需要在实现的思路上做文章，利用更多的硬件资源，来加快执行的效率。所以，在很多超大规模数据处理中，并行处理的思想，应用非常广泛，比如MapReduce实际上就是一种并行计算框架。
课后思考
假设我们有n个任务，为了提高执行的效率，我们希望能并行执行任务，但是各个任务直接又有一定的依赖关系，如何根据依赖关系找出可以并行执行的任务？
用一个有向图来存储任务之间的依赖关系，然后用拓扑排序的思想来执行任务，每次都找到入度为0的，放在队列里，启动线程池开始执行，队列里的任务并行执行完毕，再次调用拓扑排序找到入度为0的人，放入队列，直到所以任务跑完。
扫一扫
1371
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
