AC自动机理论与实现

来自：http://blog.sina.com.cn/s/blog_69c3f0410100tztt.html

首先简要介绍一下AC自动机：Aho-Corasick automation，该算法在1975年产生于贝尔实验室，是著名的多模匹配算法之一。一个常见的例子就是给出n个单词，再给出一段包含m个字符的文章，让你找出有多少个单词在文章里出现过。要搞懂AC自动机，先得有模式树（字典树）Trie和KMP模式匹配算法的基础知识。AC自动机算法分为3步：构造一棵Trie树，构造失败指针和模式匹配过程。
     如果你对KMP算法和了解的话，应该知道KMP算法中的next函数（shift函数或者fail函数）是干什么用的。KMP中我们用两个指针i和j分别表示，A[i-j+ 1..i]与B[1..j]完全相等。也就是说，i是不断增加的，随着i的增加j相应地变化，且j满足以A[i]结尾的长度为j的字符串正好匹配B串的前 j个字符，当A[i+1]≠B[j+1]，KMP的策略是调整j的位置（减小j值）使得A[i-j+1..i]与B[1..j]保持匹配且新的B[j+1]恰好与A[i+1]匹配，而next函数恰恰记录了这个j应该调整到的位置。同样AC自动机的失败指针具有同样的功能，也就是说当我们的模式串在Tire上进行匹配时，如果与当前节点的关键字不能继续匹配的时候，就应该去当前节点的失败指针所指向的节点继续进行匹配。
      看下面这个例子：给定5个单词：say she shr he her，然后给定一个字符串yasherhs。问一共有多少单词在这个字符串中出现过。我们先规定一下AC自动机所需要的一些数据结构，方便接下去的编程。

 1 const int kind = 26; 
 2 struct node{  
 3     node *fail;       //失败指针
 4     node *next[kind]; //Tire每个节点的个子节点（最多个字母）
 5     int count;        //是否为该单词的最后一个节点
 6     node(){           //构造函数初始化
 7         fail=NULL; 
 8         count=0; 
 9         memset(next,NULL,sizeof(next)); 
10     } 
11 }*q[500001];          //队列，方便用于bfs构造失败指针
12 char keyword[51];     //输入的单词
13 char str[1000001];    //模式串
14 int head,tail;        //队列的头尾指针

有了这些数据结构之后，就可以开始编程了：
    首先，将这5个单词构造成一棵Tire，如图-1所示。

 

 1 void insert(char *str,node *root){ 
 2     node *p=root; 
 3     int i=0,index;  
 4     while(str[i]){ 
 5         index=str[i]-'a'; 
 6         if(p->next[index]==NULL) p->next[index]=new node();  
 7         p=p->next[index];
 8         i++;
 9     } 
10     p->count++;     //在单词的最后一个节点count+1，代表一个单词
11 }

在构造完这棵Tire之后，接下去的工作就是构造下失败指针。构造失败指针的过程概括起来就一句话：设这个节点上的字母为C，沿着他父亲的失败指针走，直到走到一个节点，他的儿子中也有字母为C的节点。然后把当前节点的失败指针指向那个字母也为C的儿子。如果一直走到了root都没找到，那就把失败指针指向root。具体操作起来只需要：先把root加入队列(root的失败指针指向自己或者NULL)，这以后我们每处理一个点，就把它的所有儿子加入队列，队列为空。

 1 void build_ac_automation(node *root){
 2     int i;
 3     root->fail=NULL; 
 4     q[head++]=root; 
 5     while(head!=tail){ 
 6         node *temp=q[tail++]; 
 7         node *p=NULL; 
 8         for(i=0;i<26;i++){ 
 9             if(temp->next[i]!=NULL){ 
10                 if(temp==root) temp->next[i]->fail=root;                 
11                 else{ 
12                     p=temp->fail; 
13                     while(p!=NULL){  
14                         if(p->next[i]!=NULL){ 
15                             temp->next[i]->fail=p->next[i]; 
16                             break; 
17                         } 
18                         p=p->fail; 
19                     } 
20                     if(p==NULL) temp->next[i]->fail=root; 
21                 } 
22                 q[head++]=temp->next[i];  
23             } 
24         }   
25     } 
26 }

    从代码观察下构造失败指针的流程：对照图-2来看，首先root的fail指针指向NULL，然后root入队，进入循环。第1次循环的时候，我们需要处理2个节点：root->next[‘h’-‘a’](节点h) 和 root->next[‘s’-‘a’](节点s)。把这2个节点的失败指针指向root，并且先后进入队列，失败指针的指向对应图-2中的(1)，(2)两条虚线；第2次进入循环后，从队列中先弹出h，接下来p指向h节点的fail指针指向的节点，也就是root；进入第13行的循环后，p=p->fail也就是p=NULL，这时退出循环，并把节点e的fail指针指向root，对应图-2中的(3)，然后节点e进入队列；第3次循环时，弹出的第一个节点a的操作与上一步操作的节点e相同，把a的fail指针指向root，对应图-2中的(4)，并入队；第4次进入循环时，弹出节点h(图中左边那个)，这时操作略有不同。在程序运行到14行时，由于p->next[i]!=NULL(root有h这个儿子节点，图中右边那个)，这样便把左边那个h节点的失败指针指向右边那个root的儿子节点h，对应图-2中的(5)，然后h入队。以此类推：在循环结束后，所有的失败指针就是图-2中的这种形式。

  最后，我们便可以在AC自动机上查找模式串中出现过哪些单词了。匹配过程分两种情况：(1)当前字符匹配， 表示从当前节点沿着树边有一条路径可以到达目标字符，此时只需沿该路径走向下一个节点继续匹配即可，目标字符串指针移向下个字符继续匹配；(2)当前字符 不匹配，则去当前节点失败指针所指向的字符继续匹配，匹配过程随着指针指向root结束。重复这2个过程中的任意一个，直到模式串走到结尾为止。

 1 int query(node *root){ 
 2     int i=0,cnt=0,index,len=strlen(str); 
 3     node *p=root;  
 4     while(str[i]){  
 5         index=str[i]-'a';  
 6         while(p->next[index]==NULL && p!=root) p=p->fail; 
 7         p=p->next[index]; 
 8         p=(p==NULL)?root:p; 
 9         node *temp=p; 
10         while(temp!=root && temp->count!=-1){ 
11             cnt+=temp->count; 
12             temp->count=-1; 
13             temp=temp->fail; 
14         } 
15         i++;                 
16     }    
17     return cnt; 
18 }

    对照图-2，看一下模式匹配这个详细的流程，其中模式串为yasherhs。对于i=0,1。Trie中没有对应的路径，故不做任何操作；i=2,3,4 时，指针p走到左下节点e。因为节点e的count信息为1，所以cnt+1，并且讲节点e的count值设置为-1，表示改单词已经出现过了，防止重复 计数，最后temp指向e节点的失败指针所指向的节点继续查找，以此类推，最后temp指向root，退出while循环，这个过程中count增加了 2。表示找到了2个单词she和he。当i=5时，程序进入第5行，p指向其失败指针的节点，也就是右边那个e节点，随后在第6行指向r节点，r节点的 count值为1，从而count+1，循环直到temp指向root为止。最后i=6,7时，找不到任何匹配，匹配过程结束。
以上来自：AC自动机算法详解(直接点击可查看原作者报告)
杭电的2222题的题意是给出n个单词和一个长字符串，问有几个单词出现在字符串中。
思路见以上从牛人博客上转来的详解,讲得非常好，给大家分享一下。
这是我AC的第一道AC自动机题。前几天一直在刷字典树题，偶有一次碰到一个AC自动机题，便想弄懂它。不过KMP并不熟，于是开始刷KMP。今天刚好有人提到了这一题。想想应该trie树和KMP学得差不多了，应该接触AC自动机了。就开始做这道题。从上午11点半一直做到下午快6点才AC掉它！幸亏找到以上的非常精典的解析，要不今天一天也难AC。对于字典树的建立我用是数组模拟链表，无论是代码长度(指没有注释的情况下)、运行时间还是内存都优越于以上作者的代码，（作者完整的原代码可通过上面给的链接查看）,下面是我的AC代码。

1. #include<stdio.h>
2. #define M 10010
3. struct trie{
4.     int sign;//是否为该单词的最后一个结点
5.     int fail;//失配指针
6.     int next[26];//26个字母方向的子结点
7. }t[M<<6];
8. int q[M<<6],head,tail,L;
9. char str[55],s[M<<8];
10. void Insert(char *a)//将单词插入字典树
11. {
12.     int i=0,p=0,j,x;
13.     while(a[i]){
14.         x=t[p].next[a[i]-'a'];
15.         if(x<0){//前面字符串未访问过此处，则申请新结点
16.             t[p].next[a[i]-'a']=x=++L;//数组模拟链表申请新结点（即++L操作）
17.             for(j=0;j<26;j++)t[x].next[j]=-1;
18.             t[x].fail=-1;t[x].sign=0;//初始化新结点信息
19.         }
20.         p=x;
21.         i++;
22.     }
23.     t[p].sign++;
24. }
25. void build_ACauto()//更新失配指针
26. {
27.     int i,x,y,p;
28.     t[0].fail=-1;
29.     q[tail++]=0;//将根放入队列
30.     while(head<tail){
31.         x=q[head++];//取队首元素
32.         for(i=0;i<26;i++){
33.             y=t[x].next[i];
34.             if(y>=0){
35.                 if(!x)t[y].fail=0;//如果x为根结点，那么他的子结点的失配指针为头结点
36.                 else{
37.                     p=t[x].fail;//取父结点的失配指针
38.                     while(p>=0){//如果失配指针不为空,继续找
39.                         if(t[p].next[i]>=0){//如果找到结点与相配
40.                             t[y].fail=t[p].next[i];//将失配指针指向它后退出循环
41.                             break;
42.                         }
43.                         p=t[p].fail;//否则继续往上找
44.                     }
45.                     if(p<0)t[y].fail=0;//如果最终还是没有找到，则失配指针指向根结点
46.                 }
47.                 q[tail++]=y;//将子结点存入队尾
48.             }
49.         }
50.     }
51. }
52. int ACauto()//在字典树中查找s的子串在树中出现的次数
53. {
54.     int i=0,j,p=0,x,num=0;
55.     while(s[i]){
56.         j=s[i]-'a';
57.         while(t[p].next[j]<0&&p)p=t[p].fail;//从字典树中找到相配结点或到达根时退出
58.         p=t[p].next[j];//指向找到的结点所对应字母
59.         if(p<0)p=0;//如果没有找到，指针指向根结点
60.         x=p;
61.         while(x&&t[x].sign!=-1){//如果不是根结点且未访问过，则继续查找
62.             num+=t[x].sign;
63.             t[x].sign=-1;
64.             x=t[x].fail;//由失配指针向上查找
65.         }
66.         i++;
67.     }
68.     return num;
69. }
70. int main()
71. {
72.     int T,n,i;
73.     scanf("%d",&T);
74.     while(T--){
75.         head=tail=L=0;
76.         t[0].fail=-1;//初始化头结点信息
77.         t[0].sign=0;
78.         for(i=0;i<26;i++)t[0].next[i]=-1;
79.         scanf("%d",&n);
80.         while(n--){
81.             scanf("%s",str);
82.             Insert(str);//将读入的字符串插入字典树
83.         }
84.         build_ACauto();//更新字典树中的失配符
85.         scanf("%s",s);
86.         printf("%d\n",ACauto());//在字典树查找子串出现在字典树中的次数
87.     }
88.     return 0;
89. }