摘要:
莫队算法是一个对于区间、树或其他结构离线(在线)维护的算法,此算法基于一些基本算法,例如暴力维护,树状数组,分块,最小曼哈顿距离生成树,对其进行揉合从而产生的一个简单易懂且短小好写的算法。此算法在很多情况下可以很轻松的切掉一些复杂而且难写的数据结构问题。
关键词:
程序设计、算法、算法优化,暴力算法,分块算法,最小曼哈顿距离生成树。
背景:
众所周知,在OI竞赛、软件的设计中都会要求我们去处理各种各样的棘手的问题,而这些问题之中,有一大类就是维护问题:比如说对于一个序列的维护,对于棵二叉或者多叉树的维护……这些问题往往会需要我们去使用一个或多个高端的数据结构复合来完美解决,通常题目的代码十分冗长而且出错可能性十分大,是广大OIer、Acmer、Coder所害怕的题目。那么有没有一种方法可以既简单又快捷的解决这类问题(这类问题中的一大部分)呢?莫队算法就诞生辣!
理论1:
序列莫队:我们现在有一个长为n的静态的序列,对于序列,我们有m次查询,我们要动态查询l到r之间大于a小于b的数的个数以及种类。遇到了这个问题我们通常需要使用书套树的数据结构,即一颗以自平衡二叉查找树为节点的线段树(时间复杂度大约是O(mlognlogn)),而且由于空间限制,我们还必须动态创建线段树的节点,这样一来十分难写,一些大约要个400-500行,调试起来也很困难。这时候我们来考虑暴力算法,如果暴力的处理题目中的问题那么复杂度是多少呢?这个不难计算,对于每个询问我们都要O(n)的时间处理,一共有m个询问,那么暴力处理的复杂度就是O(nm)的,明显处理问题花费的时间我们是不能接受的。这是我们想到可以交换询问和询问之间的先后次序,这样每次询问在前一次询问的基础上转移就可以节省一些时间了。
但是如何重新排列询问之间的顺序是一个问题。我们需要进行一些理论分析。我们再上一个询问的基础上暴力地维护一个询问(假设上一个询问询问区间为[l0,r0],这个询问区间为[l,r]),那么我们所谓的暴力维护就是先把现有答案的右边界从r0移动到r,再把左边界从l0移动到l,那么我们的总花费是O(|l-l0|+|r-r0|)。仔细看一看,没错,这就是我们的曼哈顿距离的计算公式,有了这个思路,我们就可以从图形的角度来思考了,对于一个询问[l,r]我们可以将它映射为平面上在(l,r)位置的点,那么两个询问之间转移的代价就是询问所对应的点之间的曼哈顿距离。有了这一个结论,我们便想到可以用最小曼哈顿生成树来处理询问的顺序。由此莫队算法便诞生啦!莫队算法就是先将询问抽象成平面上的点,然后进行一边最小曼哈顿距离生成树,然后按照生成树的顺序来处理询问,这样的算法复杂度大约是O(mSqrt(n))的。如此,问题便简单了许多。
但是由于最小曼哈顿距离生成树也不是那么的好写,所以莫队算法还能再简单一点么?我们思考是否可以用一个简单而暴力的算法代替莫队算法呢。很快便能想到分块算法。我们可以使用分块算法来处理询问之间的次序问题。再去看那个询问对应的点所在的平面,我们找到它的X轴,我们把X轴平均分割成r分,然后我们把在一个块内的询问统一先处理,不在一个块内的询问我们按照左端点升序右端点升序排序依次处理。这样做有什么好处呢?对于m干个询问,如果在一个块里面,那么处理这些询问花费的复杂度是O(n/r*n*m),如果有两个询问不在一个同一个块里面,按照我们之前的排序规则,我们把左区间和右区间在块之间移动的次数最多为r*(n/r)*r次,那么我们的复杂度就是O(r*(n/r)*r)次,经过简单的数学分析,我们可以发现r=Sqrt(n)是时间复杂度最低为O(nSqrt(n))次,是可以接受的时间复杂度。这样我们的莫队算法就又简单有强大了。但是在另一些情况下,题目会无耻的限定我们可以使用的空间(一般不会,因为这样高级数据结构的复合也难以解决这样的问题了)。那么如果空间被限定了,我们应该如何解决问题呢?其实很简单, 还记得我们之前的r么?我们为了求的时间复杂度最小令r=Sqrt(n),如果我们令r=n ^ (2 / 3),那么便是一个时间复杂度和空间复杂度较为平衡的情况,这样可以很好的解决问题。
例题:
输入数据首先输入两个整数N,Q,分别代表序列的长度和询问的个数。这两个数字将单独占据一行并用一个空格分开。输入数据的第二行包含了N个由一个空格分开的正整数,代表了整个序列,从左向右依次编号为A1, A2……An。接下来Q行,每行两个整数i,j表示了一个询问区间。输入数据保证1≤i <j<=N
例题:
2038: [2009国家集训队]小Z的袜子(hose)
Description
作为一个生活散漫的人,小Z每天早上都要耗费很久从一堆五颜六色的袜子中找出一双来穿。终于有一天,小Z再也无法忍受这恼人的找袜子过程,于是他决定听天由命……
具体来说,小Z把这N只袜子从1到N编号,然后从编号L到R(L 尽管小Z并不在意两只袜子是不是完整的一双,甚至不在意两只袜子是否一左一右,他却很在意袜子的颜色,毕竟穿两只不同色的袜子会很尴尬。
你的任务便是告诉小Z,他有多大的概率抽到两只颜色相同的袜子。当然,小Z希望这个概率尽量高,所以他可能会询问多个(L,R)以方便自己选择。
Input
输入文件第一行包含两个正整数N和M。N为袜子的数量,M为小Z所提的询问的数量。接下来一行包含N个正整数Ci,其中Ci表示第i只袜子的颜色,相同的颜色用相同的数字表示。再接下来M行,每行两个正整数L,R表示一个询问。
Output
包含M行,对于每个询问在一行中输出分数A/B表示从该询问的区间[L,R]中随机抽出两只袜子颜色相同的概率。若该概率为0则输出0/1,否则输出的A/B必须为最简分数。(详见样例)
【样例解释】
询问1:共C(5,2)=10种可能,其中抽出两个2有1种可能,抽出两个3有3种可能,概率为(1+3)/10=4/10=2/5。
询问2:共C(3,2)=3种可能,无法抽到颜色相同的袜子,概率为0/3=0/1。
询问3:共C(3,2)=3种可能,均为抽出两个3,概率为3/3=1/1。
注:上述C(a, b)表示组合数,组合数C(a, b)等价于在a个不同的物品中选取b个的选取方案数。
【数据规模和约定】
30%的数据中 N,M ≤ 5000;
60%的数据中 N,M ≤ 25000;
100%的数据中 N,M ≤ 50000,1 ≤ L < R ≤ N,Ci ≤ N。
单个测试点时限2S
对于上述这道题,30%的数据我们可以对于每个询问都扫描询问区间中所存在的数然后计算,这样单次复杂度是O(N)的,但有M的询问,总复杂度是O(MN)。这就显得有点不太能接受了。
但是当我们知道一个询问[l,r]的答案后,[l+1,r],[l-1,r],[l,r+1],[l,r-1]这四个区间的答案可以通过计算做到O(1)的时间内得到
所以我们可以考虑莫队算法,分为如下三步。
1、分块
2、把所有询问左端点排序
3、对于左端点在同一块内的询问按右端点排序,然后分三种情况统计。
而复杂度正如理论部分所说的一样,
一、i与i+1在同一块内,r单调递增,所以r是O(N)的。由于有sqrt(N)块,所以这一部分时间复杂度是Nsqrt(N)。
二、i与i+1跨越一块,r最多变化n,由于有sqrt(N)块,所以这一部分时间复杂度是Nsqrt(N)
三、i与i+1在同一块内时变化不超过sqrt(N),跨越一块也不会超过2* sqrt(N),不妨看作是sqrt(N)。由于有N个数,所以时间复杂度是O(Nsqrt(N))
可以证明复杂度是O(Nsqrt(N))了
【例题一】袜子
·述大意:
进行区间询问[l,r],输出该区间内随机抽两次抽到相同颜色袜子的概率。
·分析:
首先考虑对于一个长度为n区间内的答案如何求解。题目要求Ans使用最简分数表示:那么分母就是n*n(表示两两袜子之间的随机组合),分子是一个累加和,累加的内容是该区间内每种颜色i出现次数sum[i]的平方。
将莫队算法抬上议程。莫队算法的思路是,离线情况下对所有的询问进行一个美妙的SORT(),然后两个指针l,r(本题是两个,其他的题可能会更多)不断以看似暴力的方式在区间内跳来跳去,最终输出答案。
掌握一个思想基础:两个询问之间的状态跳转。如图,当前完成的询问的区间为[a,b],下一个询问的区间为[p,q],现在保存[a,b]区间内的每个颜色出现次数的sum[]数组已经准备好,[a,b]区间询问的答案Ans1已经准备好,怎样用这些条件求出[p,q]区间询问的Ans2?
考虑指针向左或向右移动一个单位,我们要付出多大的代价才能维护sum[]和Ans(即使得sum[],Ans保存的是当前[l,r]的正确信息)。我们美妙地对图中l,r的向右移动一格进行分析:
如图啦。l指针向右移动一个单位,所造成的后果就是:我们损失了一个绿色方块。那么怎样维护?美妙地,sum[绿色]减去1。那Ans如何维护?先看分母,分母从n2变成(n-1)2,分子中的其他颜色对应的部分是不会变的,绿色却从sum[绿色]2变成(sum[绿色]-1)2 ,为了方便计算我们可以直接向给Ans减去以前该颜色的答案贡献(即sum[绿色]2)再加上现在的答案贡献(即(sum[绿色]-1)2 )。同理,观赏下面的r指针移动,将是差不多的。
·如图r指针的移动带来的后果是,我们多了一个橙色方块。所以操作和上文相似,只不过是sum[橙色]++。
·回归正题地,我们美妙的发现,知道一个区间的信息,要求出旁边区间的信息(旁边区间指的是当前区间的一个指针通过加一减一得到的区间),竟只需要O(1)的时间。
·就算是这样,到这里为止的话莫队算法依旧无法焕发其光彩,原因是:如果我们以读入的顺序来枚举每个询问,每个询问到下一个询问时都用上述方法维护信息,那么在你脑海中会浮现出l,r跳来跳去的疯狂景象,疯狂之处在于最坏情况下时间复杂度为:O(n2)————如果要这样玩,那不如写一个暴力程序。
·“莫队算法巧妙地将询问离线排序,使得其复杂度无比美妙……”在一般做题时我们时常遇到使用排序来优化枚举时间消耗的例子。莫队的优化基于分块思想:对于两个询问,若在其l在同块,那么将其r作为排序关键字,若l不在同块,就将l作为关键字排序(这就是双关键字)。大米饼使用Be[i]数组表示i所属的块是谁。排序如:
·值得强调的是,我们是在对询问进行操作。
·时间复杂度分析(分类讨论思想):
首先,枚举m个答案,就一个m了。设分块大小为unit。
分类讨论:
①l的移动:若下一个询问与当前询问的l所在的块不同,那么只需要经过最多2*unit步可以使得l成功到达目标.复杂度为:O(m*unit)
②r的移动:r只有在Be[l]相同时才会有序(其余时候还是疯狂地乱跳,你知道,一提到乱跳,那么每一次最坏就要跳n次!),Be[l]什么时候相同?在同一块里面l就Be[]相同。对于每一个块,排序执行了第二关键字:r。所以这里面的r是单调递增的,所以枚举完一个块,r最多移动n次。总共有n/unit个块:复杂度为:O(n*n/unit)
总结:O(n*unit+n*n/unit)(n,m同级,就统一使用n)
根据基本不等式得:当n为sqrt(n)时,得到莫队算法的真正复杂度:
O(n*sqrt(n))
·代码上来了(莫队喜欢while):
#include<stdio.h>
#include<algorithm>
#include<iostream>
#include<math.h>
#include<cstring>
#define go(i,a,b) for(int i=a;i<=b;i++)
#define mem(a,b) memset(a,b,sizeof(a))
#define ll long long
using namespace std;const int N=50003;
struct Mo{int l,r,ID;ll A,B;}q[N];ll S(ll x){return x*x;}
ll GCD(ll a,ll b){while(b^=a^=b^=a%=b);return a;}
int n,m,col[N],unit,Be[N];ll sum[N],ans;
bool cmp(Mo a,Mo b){return Be[a.l]==Be[b.l]?a.r<b.r:a.l<b.l;}
bool CMP(Mo a,Mo b){return a.ID<b.ID;};
void revise(int x,int add){ans-=S(sum[col[x]]),sum[col[x]]+=add,ans+=S(sum[col[x]]);}
int main()
{
scanf("%d%d",&n,&m);unit=sqrt(n);
go(i,1,n)scanf("%d",&col[i]),Be[i]=i/unit+1;;
go(i,1,m)scanf("%d%d",&q[i].l,&q[i].r),q[i].ID=i;
sort(q+1,q+m+1,cmp);
int l=1,r=0;
go(i,1,m)
{
while(l<q[i].l)revise(l,-1),l++;
while(l>q[i].l)revise(l-1,1),l--;
while(r<q[i].r)revise(r+1,1),r++;
while(r>q[i].r)revise(r,-1),r--;
if(q[i].l==q[i].r){q[i].A=0;q[i].B=1;continue;}
q[i].A=ans-(q[i].r-q[i].l+1);
q[i].B=1LL*(q[i].r-q[i].l+1)*(q[i].r-q[i].l);
ll gcd=GCD(q[i].A,q[i].B);q[i].A/=gcd;q[i].B/=gcd;
}
sort(q+1,q+m+1,CMP);
go(i,1,m)printf("%lld/%lld\n",q[i].A,q[i].B);
return 0;
}//Paul_Guderian
理论2:
可现在有很多问题都设置了修改操作,对于这类我们我们又该如何处理呢?
问题:
我们现在有一个长为n的,对于序列,我们有m次操作,操作分为两种
1、询问在[l,r]中抽到两个数字相同的概率
2、把某个位置的数ai改成x
100%的数据中 N,M ≤100000,1 ≤ L < R ≤ N,Ci ≤ N。
单个测试点时限10S
我们会发现,加上了修改操作后。就没办法直接按照分块来处理解决询问的顺序。
定义B为分块的大小。
首先考虑没有修改操作,那么就和理论1中小Z的袜子一样,令B = sqrt(n) 。把所有询问左端点排序,对于左端点在同一块内的询问按右端点排序,然后写莫队算法,按顺序扫询问,这样是O(n sqrt(n))。如果现在加上修改操作考虑一个询问(l,r),这样是肯定不够的。
于是变成:(l,r,ti),ti是询问时的时间,即这次询问是第几次操作。把所有询问左端点l排序,对于左端点在同一块内的询问按右端点r所在的块排序,对右端点r所在块相同的我们再按照时间ti排序。
然后做莫队算法,按顺序扫询问,时间有时向前有时倒流。这样令B = n ^ (2 / 3),因为在每一块中时间最多从1到T改变一次,设询问操作p1次,修改操作p2次,则在最差情况下的时间复杂度是O(p1 n^(2 / 3)+p2 *n^(1 / 3)* n^(1 / 3))=O(n^(5 / 3))【n与m等价】,这在时限下基本是可以得到答案的。
那么还有个遗留的问题,如何处理时间。我们只需要记录修改前和修改后该点的值就可以了。
至此这个问题完美解决。
总结:
也许莫队是一种看起来复杂度非常高的算法,但如果合理地处理好分块的大小和询问的顺序,,它便可以变成一个极其有效的工具。
辞谢
Vfleaking、莫涛
参考文献
国家集训队命题《小z的袜子》