694. Distinct SubstringsProblem code: DISUBSTR |
Given a string, we need to find the total number of its distinct substrings.
Input
T- number of test cases. T<=20;
Each test case consists of one string, whose length is <= 1000
Output
For each test case output one number saying the number of distinct substrings.
Example
Sample Input:
2
CCCCC
ABABA
Sample Output:
5
9
Explanation for the testcase with string ABABA:
len=1 : A,B
len=2 : AB,BA
len=3 : ABA,BAB
len=4 : ABAB,BABA
len=5 : ABABA
Thus, total number of distinct substrings is 9.
每个子串一定是某个后缀的前缀,那么原问题等价于求所有后缀之间的不相同的前缀的个数。如果所有的后缀按照suffix(sa[1]), suffix(sa[2]),suffix(sa[3]), …… ,suffix(sa[n])的顺序计算,不难发现,对于每一次新加进来的后缀suffix(sa[k]),它将产生n-sa[k]+1 个新的前缀。但是其中有height[k]个是和前面的字符串的前缀是相同的。所以suffix(sa[k])将“贡献”出n-sa[k]+1- height[k]个不同的子串。累加后便是原问题的答案。这个做法的时间复杂度为O(n)。
以上分析来自罗大牛的论文。这里为什么是height[k]个是和前面的字符串的前缀是相同呢?
这个需要证明:如果rank[i]<rank[j]<rank[k],那么suffix(sa[i])与suffix(as[k])有的公共前缀,suffix(sa[j])与suffix(sa[k])也一定会有。
不然的话,suffix(sa[i])与suffix(sa[k])显然更接近,也就是rank[j]<rank[i]<rank[k]与假设矛盾。因此rank[k]与之前的后缀的重复前缀只需看rank[k]和rank[k]-1即可,也就是height[rank[k]].
这个也刚好符合一个定理:LCP(i,j)>=LCP(k,j) k<=i ,直观来看i离k越近,相似度越高。
代码:
#include<cstdio>
#include<iostream>
#define Maxn 1010
using namespace std;
int r[Maxn],sa[Maxn],rank[Maxn],height[Maxn];
int wa[Maxn],wb[Maxn],rs[Maxn],wv[Maxn];
int cmp(int *r,int a,int b,int l){
return r[a]==r[b]&&r[a+l]==r[b+l];
}
void da(int n,int m){
int i,j,p,*x=wa,*y=wb;
for(i=0;i<m;i++) rs[i]=0;
for(i=0;i<n;i++) rs[x[i]=r[i]]++;
for(i=1;i<m;i++) rs[i]+=rs[i-1];
for(i=n-1;i>=0;i--) sa[--rs[x[i]]]=i;
for(j=1,p=1;p<n;j<<=1,m=p){
for(p=0,i=n-j;i<n;i++) y[p++]=i;
for(i=0;i<n;i++) if(sa[i]>=j) y[p++]=sa[i]-j;
for(i=0;i<m;i++) rs[i]=0;
for(i=0;i<n;i++) rs[wv[i]=x[y[i]]]++;
for(i=1;i<m;i++) rs[i]+=rs[i-1];
for(i=n-1;i>=0;i--) sa[--rs[wv[i]]]=y[i];
swap(x,y);
for(p=1,x[sa[0]]=0,i=1;i<n;i++)
x[sa[i]]=cmp(y,sa[i-1],sa[i],j)?p-1:p++;
}
}
void calheight(int n){
int i,j,k=0;
for(int i=1;i<n;i++) rank[sa[i]]=i;
for(int i=1;i<n;height[rank[i++]]=k){
if(k) k--;
for(j=sa[rank[i]-1];r[i+k]==r[j+k];k++);
}
}
char s[Maxn];
int main()
{
int t,i,n;
long long ans;
scanf("%d%*c",&t);
while(t--){
gets(s+1);
for(i=1;s[i];i++)
r[i]=s[i];
r[0]=r[n=i]=0;
da(n,128);
calheight(n);
ans=0;
for(i=1;i<n;i++)
ans+=n-sa[i]-height[i];
printf("%lld\n",ans);
}
return 0;
}