imred的专栏

眼下你打算怎么办?

C++:一个可变优先队列(Mutable Priority Queue)的实现

如果只是为了找代码,请访问https://github.com/im-red/MutablePriorityQueue,只需要其中的mutable_priority_queue.h文件就可以了,其他文件是单元测试和性能测试代码。


优先队列大家都比较熟悉,其核心数据结构是堆(一个特殊的二叉树),按照《算法导论》上的介绍,支持4种操作:

INSERT(S, x):把元素x插入集合S中。这一操作等价于S=S∪{x}。
MAXIMUM(S):返回S中具有最大关键字的元素。
EXTRACT-MAX(S):去掉并返回S中的具有最大关键字的元素。
INCREASE-KEY(S, x, k):将元素x的关键字值增加到k,这里假设k的值不小于x的原有关键字值。

这4种操作的时间复杂度分别为O(lgn)、O(1)、O(lgn)和O(lgn),其中n为堆中已有元素数量。
前几天在实现一个算法时需要用到优先队列,发现stl里面有一个std::priority_queue的优先队列可以用,一开始挺高兴,但是用着就发现问题了:std::priority_queue不支持INCREASE-KEY操作,也就是说元素一旦插入进去,就再也无法修改了,更甚至说,除非元素到达堆顶,连访问都做不到了。这导致std::priority_queue用起来的效果大打折扣,甚至还不如维护一个有序数组。
在网上找了一下有没有其他优先队列的C++实现,发现boost里面有一个mutable_heap_interface,实现了修改已插入数据的功能。它在进行插入操作时,会返回一个handle_type类型的数据,也就是一个key(本文中key与handle含义相同),通过这个key,你可以修改已插入数据。但是boost真的太重量级了,我本来只是想写一个小东西,不想依赖这么庞大的库。所以仿照它的接口,我写了一个自己的实现:MutablePriorityQueue,公共接口如下:

template<typename T>
class MutablePriorityQueue
{
public:
    typedef size_t handle_type;
    typedef T value_type;

    MutablePriorityQueue(std::function<bool(value_type &, value_type &)> comp);
    size_t size();
    bool empty();
    handle_type push(const value_type &v);
    value_type pop();
    value_type top();
    handle_type topHandle();
    value_type value(handle_type const &handle);
    void update(handle_type const &handle, value_type const &v);
}

其中push对应INSERT,top对应MAXIMUM,pop对应EXTRACT-MAX,update对应INCREASE-KEY,不过update没有INCREASE-KEY的新数据比旧数据更优先的限制,新数据既可以比旧数据优先,也可以不比旧数据优先。
一般来说,如果不实现修改已插入元素的功能,优先队列使用一个元素数组就能实现:

std::vector<value_type> m_vElements;

而可变优先队列则不然。为了能够访问已插入元素,是一定要有一个唯一的key的,指针也好,数组下标也好,一定要有手段访问到这个元素:

std::vector<handle_type> m_vHandleHeap;

那么有问题来了:key产生后,如何保证这个key不会随着元素的插入和弹出而对应到其他元素?这个可以想到解决方法:建堆时不移动元素,不论数据的插入还是删除,都不移动已有数据,而是移动key,建立一个key的堆,比较的是元素,但是移动的是key。
这就没问题了吗,不是的:当我要update一个元素,然后传入了一个key和一个新值。通过key,我可以在O(1)时间内更新元素值。更新完元素值以后,我们需要重新对堆进行有序化,也就是对key组成的堆进行更新。那么这时我该如何定位这个key在哪里呢?遍历key的堆(数组)自然是可以的,因为key都是唯一的。但是这么做会导致update调用的复杂度变为O(n),而不是O(lgn)。那怎么办?我的做法是又增加了一个数组:

std::vector<size_t> m_vHandleIndex;

这个数组与元素数组是平行的,也就是说m_vElements与m_vHandleIndex是一一对应的。它存的是什么呢?是指向该元素的key在key的堆中的索引。当得到一个key以后,m_vHandleHeap[key]是元素值,m_vHandleIndex[key]则是key在key的堆中的下标。这样,我们就可以在O(1)时间内得到key在堆中的位置了。
以上就是主要工作了,此外的工作还有如何存元素的问题,在上面可以看到我用的数组存元素,那么key就是数组索引了。由于元素弹出时不能移动元素(不然key可能会对应到错误的元素),所以弹出后数组大小也没办法缩小,因此为了有效利用空间,我增加了一个数组:

std::vector<handle_type> m_vInvalid;

这个数组是来存储无效元素的,当插入新元素时,优先利用已有空间,而不是直接push_back进去。
这里我没有使用指针做key,也就是插入新元素时不是new出来的。如果是new出来的元素,表面看起来可以通过释放失效元素来释放空间,但是内存碎片估计会比较多,不见得释放了以后就真的可以重新使用。而且new和delete也会有一定的开销(具体多少我没试过),会对性能产生影响。
这个实现对比stl的实现性能怎么样呢,我测试的方法是连续push或者连续pop N个元素(由于stl实现没有update操作,没办法比),然后对比时间,理想状况下时间消耗是O(NLogN)。实际性能测试的结果在下边。

OS: Windows Subsystem for Linux(Ubuntu 16.04.9)
CPU: Intel(R) Core(TM) i5-8250U @1.60GHz 1.80GHz
Compiler: gcc version 5.4.0 20160609 (Ubuntu 5.4.0-6ubuntu1~16.04.9)

蓝线是原数据。
绿线是使用a*NLogN拟合出来的曲线。
红线是使用a*N*N拟合出来的曲线。

元素类型为int时:
push操作:
push int
pop操作:
pop int

元素类型为Node时:

struct Node
{
    int value;
    char ext[80];
};

push操作:
push node
pop操作:
pop node

可以看出来性能差距还是不小的,主要体现在pop操作上,pop int数据时耗时差8倍的样子,原因也比较好确定:由于多了几个数组,访存就比stl实现多了几倍,导致性能下降。同时堆数据结构原本就对cache不友好,我们又加了好几个数组,常驻集大了以后cache miss率也上去了,进一步导致性能变差。不过好在从拟合曲线可以看出来,复杂度和stl实现是一样的都是a*NLogN,也还说的过去。

阅读更多
版权声明:转载请注明来源: https://blog.csdn.net/imred/article/details/80317016
文章标签: C++ 优先队列
个人分类: C++
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

C++:一个可变优先队列(Mutable Priority Queue)的实现

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭