the people 空 3) hash表与后缀数组相结合,使用后缀数组构造hash表
首先解决一个问题
当有多个suffix时,如何按照概率选择一个,比如the people by for 空,
int nmatch=0;
for everyone in suffix
if( rand()%++nmatch==0 )
select=this_suffix;
对每一个后缀都执行上述的判断,可知第一个suffix一定被选中,第二个suffix以1/2的概率替换,第三个以1/3的概率替换
#include
#include
#include
#define NHASH 49979
#define MULT 31
#define MAXWORDS 80000
char inputchars[4300000];//存储输入数据
char *word[MAXWORDS];//后缀数组
int nword=0;//记录单词数
int k=2;//2阶
int next[MAXWORDS];//用于构建hash表
int bin[NHASH];
//以k个单词为单位,进行hash
unsigned int hash(char* str){
int n;
unsigned int h=0;
char* p=str;
for(n=k;n>0;++p){
h=MULT*h+*p;
if(*p=='\0')
--n;
}
return h%NHASH;
}
//比较前k个单词的大小
int wordncmp(char* p,char *q){
int n;
for(n=k;*p==*q;++p,++q){
if(*p=='\0'&&(--n)==0)
return 0;
}
return *p-*q;
}
//从当前单词出发,跳过前n个单词
char* skip(char* p,int n){
for(;n>0;++p){
if(*p=='\0')
--n;
}
return p;
}
int main(){
int i,j;
//步骤1:构建后缀数组
word[0]=inputchars;
//scanf以空格作为分隔符, 并且自动加上'\0'
while((scanf("%s",word[nword]))!=EOF){
word[nword+1]=word[nword]+strlen(word[nword])+1;
++nword;
}
//附加k个空字符,保证wordncmp()正确(感觉不需要这个)
for(i=0;i
word[nword][i]='\0';
//步骤2:构建hash table
//初始化hash table
for(i=0;i
bin[i]=-1;
//hash表采用前插的方式。例如:word[0], word[1], word[5]拥有相同的hash值15
//则: bin[15](5)->next[5](1)->next[1](0)->next[0](-1)
for(i=0;i<=nword-k;++i){
j=hash(word[i]);
next[i]=bin[j];
bin[j]=i;
}
//步骤3:生成随机文本
int wordsleft;//生成单词数
int psofar;
char *phrase,*p;
phrase=inputchars;
for(wordsleft=10000;wordsleft>0;--wordsleft){
psofar=0;
for(j=bin[hash(phrase)];j>=0;j=next[j])
//在hash值相同的项中找出字符串值相同的后缀数组表项,根据概率选择一个
if(wordncmp(phrase,word[j])==0&&rand()%(++psofar)==0)
p=word[j];
//将phrase重新设置
phrase=skip(p,1);
//输出符合要求单词的后面第k个单词
if(strlen(skip(phrase,k-1))==0)
break;
printf("%s\n",skip(phrase,k-1));
}
return 0;
}
======================================================
======================================================