spoj 694. Distinct Substrings

694. Distinct Substrings Problem code: DISUBSTR

Given a string, we need to find the total number of its distinct substrings.

Input

T- number of test cases. T<=20;
Each test case consists of one string, whose length is <= 1000

Output

For each test case output one number saying the number of distinct substrings.

Example

Sample Input:
2
CCCCC
ABABA

Sample Output:
5
9

Explanation for the testcase with string ABABA:
len=1 : A,B
len=2 : AB,BA
len=3 : ABA,BAB
len=4 : ABAB,BABA
len=5 : ABABA
Thus, total number of distinct substrings is 9.

每个子串一定是某个后缀的前缀，那么原问题等价于求所有后缀之间的不相同的前缀的个数。如果所有的后缀按照suffix(sa[1]), suffix(sa[2]),suffix(sa[3]), …… ,suffix(sa[n])的顺序计算，不难发现，对于每一次新加进来的后缀suffix(sa[k]),它将产生n-sa[k]+1 个新的前缀。但是其中有height[k]个是和前面的字符串的前缀是相同的。所以suffix(sa[k])将“贡献”出n-sa[k]+1- height[k]个不同的子串。累加后便是原问题的答案。这个做法的时间复杂度为O(n)。

以上分析来自罗大牛的论文。这里为什么是height[k]个是和前面的字符串的前缀是相同呢？

这个需要证明：如果rank[i]<rank[j]<rank[k]，那么suffix(sa[i])与suffix(as[k])有的公共前缀，suffix(sa[j])与suffix(sa[k])也一定会有。

不然的话，suffix(sa[i])与suffix(sa[k])显然更接近，也就是rank[j]<rank[i]<rank[k]与假设矛盾。因此rank[k]与之前的后缀的重复前缀只需看rank[k]和rank[k]-1即可，也就是height[rank[k]].

这个也刚好符合一个定理：LCP（i,j）>=LCP(k,j)   k<=i ,直观来看i离k越近，相似度越高。

代码：

#include<cstdio>
#include<iostream>
#define Maxn 1010
using namespace std;

int r[Maxn],sa[Maxn],rank[Maxn],height[Maxn];
int wa[Maxn],wb[Maxn],rs[Maxn],wv[Maxn];
int cmp(int *r,int a,int b,int l){
    return r[a]==r[b]&&r[a+l]==r[b+l];
}
void da(int n,int m){
    int i,j,p,*x=wa,*y=wb;
    for(i=0;i<m;i++) rs[i]=0;
    for(i=0;i<n;i++) rs[x[i]=r[i]]++;
    for(i=1;i<m;i++) rs[i]+=rs[i-1];
    for(i=n-1;i>=0;i--) sa[--rs[x[i]]]=i;
    for(j=1,p=1;p<n;j<<=1,m=p){
        for(p=0,i=n-j;i<n;i++) y[p++]=i;
        for(i=0;i<n;i++) if(sa[i]>=j) y[p++]=sa[i]-j;
        for(i=0;i<m;i++) rs[i]=0;
        for(i=0;i<n;i++) rs[wv[i]=x[y[i]]]++;
        for(i=1;i<m;i++) rs[i]+=rs[i-1];
        for(i=n-1;i>=0;i--) sa[--rs[wv[i]]]=y[i];
        swap(x,y);
        for(p=1,x[sa[0]]=0,i=1;i<n;i++)
            x[sa[i]]=cmp(y,sa[i-1],sa[i],j)?p-1:p++;
    }
}
void calheight(int n){
    int i,j,k=0;
    for(int i=1;i<n;i++) rank[sa[i]]=i;
    for(int i=1;i<n;height[rank[i++]]=k){
        if(k) k--;
        for(j=sa[rank[i]-1];r[i+k]==r[j+k];k++);
    }
}
char s[Maxn];
int main()
{
    int t,i,n;
    long long ans;
    scanf("%d%*c",&t);
    while(t--){
        gets(s+1);
        for(i=1;s[i];i++)
            r[i]=s[i];
        r[0]=r[n=i]=0;
        da(n,128);
        calheight(n);
        ans=0;
        for(i=1;i<n;i++)
            ans+=n-sa[i]-height[i];
        printf("%lld\n",ans);
    }
	return 0;
}