Python数据结构与算法（3）：查找最大或最小的N个元素

问题

如何从一个集合中获得最大或者最小的N个元素列表呢？

解决方案

heapq 模块有两个函数：nlargest() 和 nsmallest() 可以完美解决这个问题。

heapq模块是Python中用于堆heap操作的标准库模块。堆是一种特殊的数据结构，常用于实现优先队列等算法。

>>> import heapq
>>> nums = [1, 8, 2, 23, 7, -4, 18, 23, 42, 37, 2]
>>> print(heapq.nlargest(3, nums))
[42, 37, 23]
>>> print(heapq.nsmallest(3, nums))
[-4, 1, 2]
>>> 

此外，两个函数还可以接受一个关键字参数，用于更复杂的数据结构中：

>>> portfolio = [
...     {'name': 'IBM', 'shares': 100, 'price': 91.1},
...     {'name': 'AAPL', 'shares': 50, 'price': 543.22},
...     {'name': 'FB', 'shares': 200, 'price': 21.09},
...     {'name': 'HPQ', 'shares': 35, 'price': 31.75},
...     {'name': 'YHOO', 'shares': 45, 'price': 16.35},
...     {'name': 'ACME', 'shares': 75, 'price': 115.65}
... ]
>>> cheap = heapq.nsmallest(3, portfolio, key=lambda s: s['price'])
>>> expensive = heapq.nlargest(3, portfolio, key=lambda s: s['price'])
>>> print(cheap)
[{'price': 16.35, 'name': 'YHOO', 'shares': 45}, {'price': 21.09, 'name': 'FB', 'shares': 200}, {'price': 31.75, 'name': 'HPQ', 'shares': 35}]
>>> print(expensive)
[{'price': 543.22, 'name': 'AAPL', 'shares': 50}, {'price': 115.65, 'name': 'ACME', 'shares': 75}, {'price': 91.1, 'name': 'IBM', 'shares': 100}]
>>>

上述代码在进行比较的时候，会以price的值进行比较。

讨论

如果你想在一个集合中查找最小或最大的 N 个元素，并且 N 小于集合元素数量，那么这些函数提供了很好的性能。 因为在底层实现里面，首先会先将集合数据进行堆排序后放入一个列表中：

>>> nums = [1, 8, 2, 23, 7, -4, 18, 23, 42, 37, 2]
>>> import heapq
>>> heap = list(nums)
>>> heapq.heapify(heap)
>>> heap
[-4, 2, 1, 23, 7, 2, 18, 23, 42, 37, 8]
>>>

其中，heapify函数的意义是，将一个可迭代对象转换为堆，时间复杂度为O(n)。

堆数据结构最重要的特征是 heap[0] 永远是最小的元素。并且剩余的元素可以很容易的通过调用 heapq.heappop() 方法得到， 该方法会先将第一个元素弹出来，然后用下一个最小的元素来取代被弹出元素（这种操作时间复杂度仅仅是 O(log N)，N 是堆大小）。 比如，如果想要查找最小的 3 个元素，你可以这样做：

>>> heapq.heappop(heap)
-4
>>> heapq.heappop(heap)
1
>>> heapq.heappop(heap)
2

当要查找的元素个数相对比较小的时候，函数 nlargest() 和nsmallest()是很合适的。 如果你仅仅想查找**唯一的最小或最大（N=1）**的元素的话，那么使用 min() 和 max() 函数会更快些。 类似的，如果 N 的大小和集合大小接近的时候，通常先排序这个集合然后再使用切片操作会更快点 （ sorted(items)[:N] 或者是 sorted(items)[-N:] ）。 需要在正确场合使用函数 nlargest() 和 nsmallest() 才能发挥它们的优势 （如果 N 快接近集合大小了，那么使用排序操作会更好些）。

拓展

关于heapq的其他一些函数用法：

heappush(heap, item)：将元素插入堆中，并保持堆的性质。

>>> heapq.heappush(heap, 35)
>>> heap
[1, 2, 2, 23, 7, 8, 18, 23, 42, 37, 35]
>>> 

heappop(heap)：弹出并返回堆顶元素，并保持堆的性质。

>>> heapq.heappop(heap)
-4
>>> heap
[1, 2, 2, 23, 7, 8, 18, 23, 42, 37]
>>> 

heapreplace(heap, item)：先弹出并返回堆顶元素，然后将新元素插入堆中，并保持堆的性质，效率比分别调用heappop和heappush高。可以看到先弹出了堆顶元素1，并将新元素1111插入到堆中。

>>> heapq.heapreplace(heap, 1111)
1
>>> heap
[2, 2, 8, 23, 7, 1111, 18, 23, 42, 37, 35]
>>>