后缀数组学习小记 (模板)

最新推荐文章于 2018-06-20 21:36:55 发布
最新推荐文章于 2018-06-20 21:36:55 发布
阅读量1.4k 收藏
点赞数
分类专栏： 学习轨迹 后缀数组
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/whyorwhnt/article/details/32933319
版权

学习资料及参考文章：

后缀数组及其应用.ppt - 豆丁网

后缀数组--许智磊_百度文库

国家集训队2004论文集_许智磊(后缀数组)_百度文库

后缀数组——处理字符串的有力工具_百度文库

后缀数组两种算法的分析比较 - Localhost 8080 - C++博客

基本定义及性质

LCP(Longest Common Prefix)：最长公共前缀
后缀数组 sa[i] : 表示排在第i位的后缀 起始下标
名次数组 rank[i] : 表示后缀 suffix(i)排在第几
简单的说，后缀数组是“排第几的是谁？”，名次数组是“你排第几？
后缀数组和名次数组为互逆运算：设Rank[i]=j，则SA[j]=i。

性质 1 LCP(i,j)=LCP(j,i)
性质 2 LCP(i,i)=len(Suffix(SA[i]))=n-SA[i]+1

height数组：height[i]=suffix(sa[i-1])和suffix(sa[i])的最长公共前缀(LCP)，也就是排名相邻的两个后缀的最长公共前缀。
对于j和k，不妨设rank[j]<rank[k]，则有以下性质：
suffix(j)和suffix(k)的最长公共前缀为height[rank[j]+1]，height[rank[j]+2]，height[rank[j]+3]，……，height[rank[k]]中的最小值。

h[i]: 表示 suffix(i)与其排名前一位的 LCP值
h数组：h[i]=height[rank[i]]，即 height[i]=h[SA[i]]
h数组的性质：h[i]>=h[i-1]-1。
实际实现时通常不储存h数组。

RMQ问题：区间最值的问题

构造后缀数组有两种主流算法：
倍增算法(Doubling Algorithm)
DC3算法(Difference Cover mod 3)

时间复杂度：
倍增算法的时间复杂度为O(nlogn)，DC3算法的时间复杂度为O(n)。
DC3渐进时间复杂度比较小，但是常数项比较大。

空间复杂度：
倍增算法和DC3算法的空间复杂度都是O(n)。按前面所讲的实现方法，倍增算法所需数组总大小为6n，DC3算法所需数组总大小为10n。
在DC3算法中，rank和sa数组需要开3倍大小，为了递归处理时不用每次都申请新的内存空间。

具体区别请参考上述文章关于两种方法的对比。
以前做练习时我用的都是DA，但2014北京邀请赛在题目重现时卡掉了O(nlogn)的DA算法，考虑到实际比赛时对空间的限制相对宽松，所以以后准备使用DC3算法。

其他人的总结及模板


倍增算法，个人常用版： 
const int N = int(2e5)+10;

int cmp(int *r,int a,int b,int l){
	return (r[a]==r[b]) && (r[a+l]==r[b+l]);
}
int wa[N],wb[N],ws[N],wv[N];
int rank[N],height[N],sa[N];

void DA(int *r,int *sa,int n,int m){
	int i,j,p,*x=wa,*y=wb,*t;
	for(i=0;i<m;i++) ws[i]=0;
	for(i=0;i<n;i++) ws[x[i]=r[i]]++;
	for(i=1;i<m;i++) ws[i]+=ws[i-1];
	for(i=n-1;i>=0;i--) sa[--ws[x[i]]]=i;
	for(j=1,p=1;p<n;j*=2,m=p)
	{
		for(p=0,i=n-j;i<n;i++) y[p++]=i;
		for(i=0;i<n;i++) if(sa[i]>=j) y[p++]=sa[i]-j;
		for(i=0;i<n;i++) wv[i]=x[y[i]];
		for(i=0;i<m;i++) ws[i]=0;
		for(i=0;i<n;i++) ws[wv[i]]++;
		for(i=1;i<m;i++) ws[i]+=ws[i-1];
		for(i=n-1;i>=0;i--) sa[--ws[wv[i]]]=y[i];
		for(t=x,x=y,y=t,p=1,x[sa[0]]=0,i=1;i<n;i++)
			x[sa[i]]=cmp(y,sa[i-1],sa[i],j)?p-1:p++;
		//printf("p = %d\n", p );
	}
}
void calheight(int *r,int *sa,int n){
//	memset(height,0,sizeof(height));
//	memset(rank,0,sizeof(rank));
	int i,j,k=0;
	for(i=1;i<=n;i++) rank[sa[i]]=i;
	for(i=0;i<n; height[rank[i++]] = k )
	for(k?k--:0,j=sa[rank[i]-1]; r[i+k]==r[j+k]; k++);
}

本段的第一篇参考文献里有带简单注释的版本
这里有一份详细分析，带详细的注释： 后缀数组学习笔记——罗穗骞倍增算法代码 - Staginner - 博客园

论文附件中的倍增算法完整代码： 
#define maxn 1000001
int wa[maxn],wb[maxn],wv[maxn],ws[maxn];
int cmp(int *r,int a,int b,int l)
{return r[a]==r[b]&&r[a+l]==r[b+l];}
void da(int *r,int *sa,int n,int m)
{
     int i,j,p,*x=wa,*y=wb,*t;
     for(i=0;i<m;i++) ws[i]=0;
     for(i=0;i<n;i++) ws[x[i]=r[i]]++;
     for(i=1;i<m;i++) ws[i]+=ws[i-1];
     for(i=n-1;i>=0;i--) sa[--ws[x[i]]]=i;
     for(j=1,p=1;p<n;j*=2,m=p)
     {
       for(p=0,i=n-j;i<n;i++) y[p++]=i;
       for(i=0;i<n;i++) if(sa[i]>=j) y[p++]=sa[i]-j;
       for(i=0;i<n;i++) wv[i]=x[y[i]];
       for(i=0;i<m;i++) ws[i]=0;
       for(i=0;i<n;i++) ws[wv[i]]++;
       for(i=1;i<m;i++) ws[i]+=ws[i-1];
       for(i=n-1;i>=0;i--) sa[--ws[wv[i]]]=y[i];
       for(t=x,x=y,y=t,p=1,x[sa[0]]=0,i=1;i<n;i++)
       x[sa[i]]=cmp(y,sa[i-1],sa[i],j)?p-1:p++;
     }
     return;
}
int rank[maxn],height[maxn];
void calheight(int *r,int *sa,int n)
{
     int i,j,k=0;
     for(i=1;i<=n;i++) rank[sa[i]]=i;
     for(i=0;i<n;height[rank[i++]]=k)
     for(k?k--:0,j=sa[rank[i]-1];r[i+k]==r[j+k];k++);
     return;
}
int RMQ[maxn];
int mm[maxn];
int best[20][maxn];
void initRMQ(int n)
{
     int i,j,a,b;
     for(mm[0]=-1,i=1;i<=n;i++)
     mm[i]=((i&(i-1))==0)?mm[i-1]+1:mm[i-1];
     for(i=1;i<=n;i++) best[0][i]=i;
     for(i=1;i<=mm[n];i++)
     for(j=1;j<=n+1-(1<<i);j++)
     {
       a=best[i-1][j];
       b=best[i-1][j+(1<<(i-1))];
       if(RMQ[a]<RMQ[b]) best[i][j]=a;
       else best[i][j]=b;
     }
     return;
}
int askRMQ(int a,int b)
{
    int t;
    t=mm[b-a+1];b-=(1<<t)-1;
    a=best[t][a];b=best[t][b];
    return RMQ[a]<RMQ[b]?a:b;
}
int lcp(int a,int b)
{
    int t;
    a=rank[a];b=rank[b];
    if(a>b) {t=a;a=b;b=t;}
    return(height[askRMQ(a+1,b)]);
}
int main()
{
	char s[10];
	int n,m=0,i,l,r[10],sa[10];
	scanf("%s",s);
	l=strlen(s);
	for(i=0;i<l;i++)
	{
		r[i]=s[i];
		if(s[i]>m)
			m=s[i];
	}
	r[9]=0;
	da(r,sa,10,m);
	return 0;
}

DC3 个人常用模板 
const int N = int(1e3)+10;

#define F(x) ((x)/3+((x)%3==1?0:tb))
#define G(x) ((x)<tb?(x)*3+1:((x)-tb)*3+2)

int wa[N],wb[N],wv[N],ws[N];
int c0 (int *r,int a,int b){
	return r[a]==r[b] && r[a+1]==r[b+1] && r[a+2]==r[b+2];
}
int c12 (int k,int *r,int a,int b){
	if (k==2) return r[a]<r[b] || r[a]==r[b] && c12(1,r,a+1,b+1);
	else return r[a]<r[b] || r[a]==r[b] && wv[a+1]<wv[b+1];
}
void sort (int *r,int *a,int *b,int n,int m){
	int i;
	for(i=0;i<n;i++) wv[i]=r[a[i]];
	for(i=0;i<m;i++) ws[i]=0;
	for(i=0;i<n;i++) ws[wv[i]]++;
	for(i=1;i<m;i++) ws[i]+=ws[i-1];
	for(i=n-1;i>=0;i--) b[--ws[wv[i]]]=a[i];
}
void DC3 (int *r,int *sa,int n,int m){
	int i,j,*rn=r+n,*san=sa+n,ta=0,tb=(n+1)/3,tbc=0,p;
	r[n]=r[n+1]=0;
	for(i=0;i<n;i++) if(i%3!=0) wa[tbc++]=i;
	sort(r+2,wa,wb,tbc,m);
	sort(r+1,wb,wa,tbc,m);
	sort(r,wa,wb,tbc,m);
	for(p=1,rn[F(wb[0])]=0,i=1;i<tbc;i++)
		rn[F(wb[i])]=c0(r,wb[i-1],wb[i])?p-1:p++;
	if(p<tbc) DC3(rn,san,tbc,p);
	else for(i=0;i<tbc;i++) san[rn[i]]=i;
	for(i=0;i<tbc;i++) if(san[i]<tb) wb[ta++]=san[i]*3;
	if(n%3==1) wb[ta++]=n-1;
	sort(r,wb,wa,ta,m);
	for(i=0;i<tbc;i++) wv[wb[i]=G(san[i])]=i;
	for(i=0,j=0,p=0;i<ta && j<tbc;p++)
		sa[p]=c12(wb[j]%3,r,wa[i],wb[j])?wa[i++]:wb[j++];
	for(;i<ta;p++) sa[p]=wa[i++];
	for(;j<tbc;p++) sa[p]=wb[j++];
}  
int rank[N],height[N],sa[3*N],data[3*N];

void calheight(int *r,int *sa,int n){
//	memset(height,0,sizeof(height));
//	memset(rank,0,sizeof(rank));
	int i,j,k=0;
	for(i=1;i<=n;i++) rank[sa[i]]=i;
	for(i=0;i<n; height[rank[i++]] = k )
	for(k?k--:0,j=sa[rank[i]-1]; r[i+k]==r[j+k]; k++);
}


DC3网上的分析注释： DC3算法理解记录_success_新浪博客
论文附件中的DC3算法完整代码： 
#define maxn 1000003
#define F(x) ((x)/3+((x)%3==1?0:tb))
#define G(x) ((x)<tb?(x)*3+1:((x)-tb)*3+2)
int wa[maxn],wb[maxn],wv[maxn],ws[maxn];
int c0(int *r,int a,int b)
{return r[a]==r[b]&&r[a+1]==r[b+1]&&r[a+2]==r[b+2];}
int c12(int k,int *r,int a,int b)
{if(k==2) return r[a]<r[b]||r[a]==r[b]&&c12(1,r,a+1,b+1);
 else return r[a]<r[b]||r[a]==r[b]&&wv[a+1]<wv[b+1];}
void sort(int *r,int *a,int *b,int n,int m)
{
     int i;
     for(i=0;i<n;i++) wv[i]=r[a[i]];
     for(i=0;i<m;i++) ws[i]=0;
     for(i=0;i<n;i++) ws[wv[i]]++;
     for(i=1;i<m;i++) ws[i]+=ws[i-1];
     for(i=n-1;i>=0;i--) b[--ws[wv[i]]]=a[i];
     return;
}
void dc3(int *r,int *sa,int n,int m)
{
     int i,j,*rn=r+n,*san=sa+n,ta=0,tb=(n+1)/3,tbc=0,p;
     r[n]=r[n+1]=0;
     for(i=0;i<n;i++) if(i%3!=0) wa[tbc++]=i;
     sort(r+2,wa,wb,tbc,m);
     sort(r+1,wb,wa,tbc,m);
     sort(r,wa,wb,tbc,m);
     for(p=1,rn[F(wb[0])]=0,i=1;i<tbc;i++)
     rn[F(wb[i])]=c0(r,wb[i-1],wb[i])?p-1:p++;
     if(p<tbc) dc3(rn,san,tbc,p);
     else for(i=0;i<tbc;i++) san[rn[i]]=i;
     for(i=0;i<tbc;i++) if(san[i]<tb) wb[ta++]=san[i]*3;
     if(n%3==1) wb[ta++]=n-1;
     sort(r,wb,wa,ta,m);
     for(i=0;i<tbc;i++) wv[wb[i]=G(san[i])]=i;
     for(i=0,j=0,p=0;i<ta && j<tbc;p++)
     sa[p]=c12(wb[j]%3,r,wa[i],wb[j])?wa[i++]:wb[j++];
     for(;i<ta;p++) sa[p]=wa[i++];
     for(;j<tbc;p++) sa[p]=wb[j++];
     return;
}
int rank[maxn],height[maxn];
void calheight(int *r,int *sa,int n)
{
     int i,j,k=0;
     for(i=1;i<=n;i++) rank[sa[i]]=i;
     for(i=0;i<n;height[rank[i++]]=k)
     for(k?k--:0,j=sa[rank[i]-1];r[i+k]==r[j+k];k++);
     return;
}
int RMQ[maxn];
int mm[maxn];
int best[20][maxn];
void initRMQ(int n)
{
     int i,j,a,b;
     for(mm[0]=-1,i=1;i<=n;i++)
     mm[i]=((i&(i-1))==0)?mm[i-1]+1:mm[i-1];
     for(i=1;i<=n;i++) best[0][i]=i;
     for(i=1;i<=mm[n];i++)
     for(j=1;j<=n+1-(1<<i);j++)
     {
       a=best[i-1][j];
       b=best[i-1][j+(1<<(i-1))];
       if(RMQ[a]<RMQ[b]) best[i][j]=a;
       else best[i][j]=b;
     }
     return;
}
int askRMQ(int a,int b)
{
    int t;
    t=mm[b-a+1];b-=(1<<t)-1;
    a=best[t][a];b=best[t][b];
    return RMQ[a]<RMQ[b]?a:b;
}
int lcp(int a,int b)
{
    int t;
    a=rank[a];b=rank[b];
    if(a>b) {t=a;a=b;b=t;}
    return(height[askRMQ(a+1,b)]);
}

关于单个字符串的基础题目总结

本文只列出做过的有关单个子串的基础题目，有关后缀数组的一些技巧性使用，公共子串问题，与RMQ问题结合的问题将在之后的博文中总结

可重叠最长重复子串

根据 height[i] = LCP{ suffix( sa[i-1] ), suffix( sa[i] ) } ，最长重复可重叠子串长度是 Max{ height[i] }

不可重叠最长重复子串

至少重叠k次最长重复子串

下面这题要求给出最后出现的位置

出现2次及以上且不重叠的子串的个数

区间长度子串个数




时雨晴天
关注
专栏目录
后缀数组小结（markdown版）
XYM-AC之路
01-16 3025
这篇文章看的人还是挺多的，为了提升大家的阅读快感，特地写了这markdown版。希望大家会喜欢。还可以去我的新blog里看这篇文章 【前言】 后缀数组号称字符串处理神器，不过发现好多人都只会用模板，其实这不是我们学算法的本质，我们学习算法的本质应该理解其实现原理，并加以实现，特别是算法，更讲究的是一种思想。一年前的我也是只会用别人的模板，最近却静下心来，研究了一下后缀数组，自己写了一份自己的模板
后缀数组PPT详细解答
07-25
内容： 许智磊后缀数组的pdf 本人解说的ppt 制作的mdl 有错误请指正...
后缀数组小结
热门推荐
XYM-AC之路
04-13 2万+
后缀数组号称字符串处理神器，不过发现好多人都只会用模板，其实这不是我们学算法的本质，我们学习算法的本质应该理解其实现原理，并加以实现，特别是算法，更讲究的是一种思想。一年前的我也是只会用别人的模板，最近却静下心来，研究了一下后缀数组，自己写了一份自己的模板。 我基本上是跟着连教的ppt来学习的，当然也少不了百度，先讲一下基本概念。(这里大量引用了连教的ppt) 基本定义： 子串  注:串
后缀数组资料打包（论文+PPT+笔记）
04-17
后缀数组 笔记 后缀数组&mdash;&mdash;处理字符串的有力工具 罗穗骞 后缀数组&mdash;&mdash;处理字符串的有力工具 PPT 后缀数组--许智磊 后缀数组--许智磊 PPT
彻底弄懂后缀数组
weixin_30790841的博客
03-26 580
什么叫后缀数组 首先要知道什么叫后缀 ？ 比如 字符串 abcdef 那么 abcdef bcdef cdef def ef f 就叫做后缀 也就是从最后一个字母之前的一个字母开始一直到最后一个字母（所以所 bcd不是后缀 因为没有到最后一位f） 所构成的字符串就叫做后缀 至于后缀数组能干什么？我在这就不介绍了 这不是本文的重点！...
后缀数组复习小记
平凡的脚步也可以走完伟大的行程。
04-24 451
定义： suf[i]表示以i为开头的后缀 rank[i]表示suf[i]的排名，sa[i]表示排名为i的后缀 height[i]表示sa[i]和sa[i-1]的lcp h[i]表示suf[i]和suf[sa[rank[i]-1]]的lcp sa[rank[i]]=i,所以只要能求出rank，就可以求sa 倍增 求rank相当于把n个后缀排序，直接暴力排，显然是O(n^2*log(n))
学习小记——后缀数组
GGTTARsier的博客
03-15 315
定义在字符串处理当中，后缀树和后缀数组都是非常有力的工具，其中后缀树大家了解得比较多，关于后缀数组则很少见于国内的资料。其实后缀数组是后缀树的一个非常精巧的替代品，它比后缀树容易编程实现，能够实现后缀树的很多功能而时间复杂度也不太逊色，并且，它比后缀树所占用的空间小很多。可以说，在信息学竞赛中后缀数组比后缀树要更为实用。变量定义Suffix(i)：表示S[i..len(S)]，即从第i位开始的字符串
后缀数组学习笔记
DntcryBecthlev的博客
06-20 276
后缀数组模板（UOJ#35）： “` #include include include include include include include include include include define R register define ll long long define db double...
11.罗穗骞《后缀数组&mdash;&mdash;处理字符串的有力工具》.zip
08-08
罗穗骞的《后缀数组&mdash;&mdash;处理字符串的有力工具》详细介绍了这一数据结构及其应用，包含算法源码和解题源码，对于学习者来说是一份宝贵的资源。 首先，后缀数组是一个有序的字符串集合，由输入字符串的所有后缀组成。...
后缀数组学习笔记！！！
最新发布
04-28
后缀数组是处理字符串的一种高效数据结构，它能够快速地解决许多字符串问题，如查找最长重复子串、最长公共前后缀等。本文将详细介绍后缀数组的构建方法及其应用。 首先，后缀数组是将一个字符串的所有后缀按照字典...
后缀数组1
08-03
后缀数组是一种用于字符串处理的强大数据结构，它存储了一个字符串的所有后缀按字典序排序后的起始位置。在本文中，作者许智磊主要探讨了后缀数组的基本概念、构建算法以及其在模式匹配和寻找最长回文子串等问题上的...
后缀数组 后缀数组.pdf
09-17
后缀数组是计算机科学中的一个重要概念，尤其在字符串处理领域。它是一种数据结构，用于存储一个字符串的所有后缀，并将它们以特定的...通过学习和掌握后缀数组的相关理论和算法，能够为解决实际问题提供重要的辅助。
后缀数组&mdash;&mdash;处理字符串的有力工具.pdf
08-10
后缀数组是一种高效处理字符串的数据结构，在信息学竞赛和许多字符串处理的实际应用中占据着重要地位。它不仅与后缀树具有相似的功能，而且...通过学习并掌握后缀数组，可以极大地提高解决字符串相关问题的效率和质量。
后缀数组（非常清楚）
a1035719430的博客
05-06 1万+
后缀数组 顾名思义，后缀数组就是记录所有后缀的数组，同时，它也是有序的。后缀数组 SA 可以帮助我们解决单字符串问题、两个字符串的问题和多个字符串的问题等 比如说字符串 banana￥我们暂且把￥ 认为是一个字符（表示字符串结尾）。 我们记suffix(i)表示从原字符串第i个字符开始到字符串结尾的后缀。我们把它所有的后缀拿出来按字典序排序： 把排好序的数组记作sa 那么此时sa数组...
后缀数组的使用笔记
yc0576的专栏
03-01 1154
主要参考了 .罗穗骞《后缀数组——处理字符串的有力工具》和许智磊的后缀数组，现在能使用罗穗骞的dc3算法和倍增法 倍增法模板o(nlgn)int wa[maxn],wb[maxn],wv[maxn],ws[maxn];int cmp(int *r,int a,int b,int l){return r[a]==r[b]&&r[a+l]==r[b+l];}void da(
后缀数组处理多字符串公共子串总结
whyorwhnt的专栏
06-24 2098
关于后缀数组的学习可以参考： 后缀数组学习小记 (模板) - whyorwhnt的专栏 - 博客频道 - CSDN.NET http://blog.csdn.net/whyorwhnt/article/details/32933319
Poj 3080 Blue Jeans + Hdu 2328 Corporate Identity (后缀数组 字典序最小的最长公共子串)
whyorwhnt的专栏
08-07 1385
题意：求n个长度为60的字符串的最长连续公共子串，2<=n<=10 1、  最长公共串长度小于3不输出 2、  若出现等长的最长的子串，则输出字典序最小的串 思路：和Poj 3294 Life Forms差不多，只不过变成了只输出第一个。 据说暴力也可以过。。。暴力法参考代码及测试数据：http://blog.csdn.net/lyy289065406/arti
后缀数组详解：ACMer的必备学习资料
"后缀数组国家集训队论文 ACMer必看" 这篇论文是关于后缀数组的详细解析，由罗穗骞撰写，并由张学东指导，来自华南师范大学附属中学，完成于2009年1月。这篇论文是针对信息学奥林匹克（IOI）国家集训队的学员编写的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值