Aho-Corasick算法

1、概述

Aho-Corasick自动机算法（简称AC自动机）1975年产生于贝尔实验室。该算法应用有限自动机巧妙地将字符比较转化为了状态转移。此算法有两个特点，一个是扫描文本时完全不需要回溯，另一个是时间复杂度为O(n)，时间复杂度与关键字的数目和长度无关。

好了，我们先看下最原始的多模式匹配算法：

主串T，n=strlen（T）。

模式串Pi mi = strlen(pi)

 

[cpp]  view plain copy

1. for（i=0；i<n-MIN（m）；++i）  
2.     for（j=0；j<k；++j）  
3.         if(n-mk<=n-i &&memcmp(T[i],Pk,mk)==0)  
4.            printf(“match/n”);  

 

 

 

是O（mn）的时间复杂度。

上面的算法很笨吧，下面看看聪明的AC算法是个啥意思。

2、 AC算法思想

AC算法思想：用多模式串建立一个确定性的树形有限状态机，以主串作为该有限状态机的输入，使状态机进行状态的转换，当到达某些特定的状态时，说明发生模式匹配。

下图是多模式he/ she/ his /hers构成的一个确定性有限状态机，做几点说明：

1、 该状态机优先按照实线标注的状态转换路径进行转换，当所有实线标注的状态转换路径条件不能满足时，按照虚线的状态转换路径进行状态转换。如：状态0时，当输入h，则转换到状态1；输入s，则转换到状态3；否则转换到状态0。

2、 匹配过程如下：从状态0开始进行状态转换，主串作为输入。如主串为：ushers，状态转换的过程是这样的：

3、  当状态转移到2，5，7，9等红色状态点时，说明发生了模式匹配。

如主串为：ushers，则在状态5、2、9等状态时发生模式匹配，匹配的模 式串有she、he、hers。

 

定义：

在预处理阶段，AC自动机算法建立了三个函数，转向函数goto，失效函数failure和输出函数output，由此构造了一个树型有限自动机。

 

转向函数，指的是一种状态之间的转向关系。g(pre, x)=next：状态pre在输入一个字符x后转换为状态next（上图中的实线部分）。如果在模式串中不存在这样的转换，则next=failstate。

 

失效函数，指的也是状态和状态之间一种转向关系。f(per)=next：是在比较失配的情况下使用的转换关系。在构造转向函数时，把不存在的转换用failstate表示，但是failstate不是一个具体的状态，状态机转换转换到failstate状态的时候就不知道该往哪转了。所以就要在状态机中找到一个有意义的状态代替failstate，当出现failstate状态时，自动切换到那个状态。

这个状态节点应该具有这样的特征：从这个状态节点向上直到树根节点（状态0）所经历的输入字符，和从产生failstate状态的那个状态节点向上所经历的输入字符串完全相同。而且这个状态节点，是所有具备这些条件的节点中深度最大的那个节点。如果不存在满足条件的状态节点，则失效函数为0。

累死了。举例子说吧，对状态9输入任何一个字符都会产生failstate状态，需要失效函数。状态3向上到状态0经过的输入字符串为s；而由状态9向上的输入字符串为sreh。字符串s相同，并且状态3是满足此条件的唯一节点，则

f(9)=3。

说来说去，失效函数就是要干这么件事儿：

意思就是说，在比较模式串1发生失配时，找一个模式串2，使得P2[0...j-1] = P1[i-j+1...i]。然后继续比较模式串2。看上面那个图，想起点儿什么东西没有？对了，是KMP算法。有人说AC算法就是KMP算法在多模式匹配情况下的扩展。

输出函数，指的是状态和模式串之间的一种关系。output(i)={P}，表示当状态机到达状态i时，模式串集合{P}中的所有模式串可能已经完成匹配。

例：

模式串为：he/ she/ hers/ his 时，如上图所示：

转向函数：

失效函数：

输出函数：

 首先简要介绍一下AC自动机：Aho-Corasick automation，该算法在1975年产生于贝尔实验室，是著名的多模匹配算法之一。一个常见的例子就是给出n个单词，再给出一段包含m个字符的文章，让你找出有多少个单词在文章里出现过。要搞懂AC自动机，先得有模式树（字典树）Trie和KMP模式匹配算法的基础知识。AC自动机算法分为3步：构造一棵Trie树，构造失败指针和模式匹配过程。
     如果你对KMP算法和了解的话，应该知道KMP算法中的next函数（shift函数或者fail函数）是干什么用的。KMP中我们用两个指针i和j分别表示，A[i-j+ 1..i]与B[1..j]完全相等。也就是说，i是不断增加的，随着i的增加j相应地变化，且j满足以A[i]结尾的长度为j的字符串正好匹配B串的前 j个字符，当A[i+1]≠B[j+1]，KMP的策略是调整j的位置（减小j值）使得A[i-j+1..i]与B[1..j]保持匹配且新的B[j+1]恰好与A[i+1]匹配，而next函数恰恰记录了这个j应该调整到的位置。同样AC自动机的失败指针具有同样的功能，也就是说当我们的模式串在Tire上进行匹配时，如果与当前节点的关键字不能继续匹配的时候，就应该去当前节点的失败指针所指向的节点继续进行匹配。
      看下面这个例子：给定5个单词：say she shr he her，然后给定一个字符串yasherhs。问一共有多少单词在这个字符串中出现过。我们先规定一下AC自动机所需要的一些数据结构，方便接下去的编程。

 1  const  int kind = 26; 
 2  struct node{  
 3     node *fail;        // 失败指针
 4      node *next[kind];  // Tire每个节点的个子节点（最多个字母）
 5       int count;         // 是否为该单词的最后一个节点
 6      node(){            // 构造函数初始化
 7          fail=NULL; 
 8         count=0; 
 9         memset(next,NULL, sizeof(next)); 
10     } 
11 }*q[500001];           // 队列，方便用于bfs构造失败指针
12  char keyword[51];      // 输入的单词
13  char str[1000001];     // 模式串
14  int head,tail;         // 队列的头尾指针

有了这些数据结构之后，就可以开始编程了：
    首先，将这5个单词构造成一棵Tire，如图-1所示。

 

 1  void insert( char *str,node *root){ 
 2     node *p=root; 
 3      int i=0,index;  
 4      while(str[i]){ 
 5         index=str[i]-'a'; 
 6          if(p->next[index]==NULL) p->next[index]= new node();  
 7         p=p->next[index];
 8         i++;
 9     } 
10     p->count++;      // 在单词的最后一个节点count+1，代表一个单词
11  }

在构造完这棵Tire之后，接下去的工作就是构造下失败指针。构造失败指针的过程概括起来就一句话：设这个节点上的字母为C，沿着他父亲的失败指针走，直到走到一个节点，他的儿子中也有字母为C的节点。然后把当前节点的失败指针指向那个字母也为C的儿子。如果一直走到了root都没找到，那就把失败指针指向root。具体操作起来只需要：先把root加入队列(root的失败指针指向自己或者NULL)，这以后我们每处理一个点，就把它的所有儿子加入队列，队列为空。

 1  void build_ac_automation(node *root){
 2      int i;
 3     root->fail=NULL; 
 4     q[head++]=root; 
 5      while(head!=tail){ 
 6         node *temp=q[tail++]; 
 7         node *p=NULL; 
 8          for(i=0;i<26;i++){ 
 9              if(temp->next[i]!=NULL){ 
10                  if(temp==root) temp->next[i]->fail=root;                 
11                  else{ 
12                     p=temp->fail; 
13                      while(p!=NULL){  
14                          if(p->next[i]!=NULL){ 
15                             temp->next[i]->fail=p->next[i]; 
16                              break; 
17                         } 
18                         p=p->fail; 
19                     } 
20                      if(p==NULL) temp->next[i]->fail=root; 
21                 } 
22                 q[head++]=temp->next[i];  
23             } 
24         }   
25     } 
26 }

    从代码观察下构造失败指针的流程：对照图-2来看，首先root的fail指针指向NULL，然后root入队，进入循环。第1次循环的时候，我们需要处理2个节点：root->next[‘h’-‘a’](节点h) 和 root->next[‘s’-‘a’](节点s)。把这2个节点的失败指针指向root，并且先后进入队列，失败指针的指向对应图-2中的(1)，(2)两条虚线；第2次进入循环后，从队列中先弹出h，接下来p指向h节点的fail指针指向的节点，也就是root；进入第13行的循环后，p=p->fail也就是p=NULL，这时退出循环，并把节点e的fail指针指向root，对应图-2中的(3)，然后节点e进入队列；第3次循环时，弹出的第一个节点a的操作与上一步操作的节点e相同，把a的fail指针指向root，对应图-2中的(4)，并入队；第4次进入循环时，弹出节点h(图中左边那个)，这时操作略有不同。在程序运行到14行时，由于p->next[i]!=NULL(root有h这个儿子节点，图中右边那个)，这样便把左边那个h节点的失败指针指向右边那个root的儿子节点h，对应图-2中的(5)，然后h入队。以此类推：在循环结束后，所有的失败指针就是图-2中的这种形式。

  最后，我们便可以在AC自动机上查找模式串中出现过哪些单词了。匹配过程分两种情况：(1)当前字符匹配，表示从当前节点沿着树边有一条路径可以到达目标字符，此时只需沿该路径走向下一个节点继续匹配即可，目标字符串指针移向下个字符继续匹配；(2)当前字符不匹配，则去当前节点失败指针所指向的字符继续匹配，匹配过程随着指针指向root结束。重复这2个过程中的任意一个，直到模式串走到结尾为止。

 1  int query(node *root){ 
 2      int i=0,cnt=0,index,len=strlen(str); 
 3     node *p=root;  
 4      while(str[i]){  
 5         index=str[i]-'a';  
 6          while(p->next[index]==NULL && p!=root) p=p->fail; 
 7         p=p->next[index]; 
 8         p=(p==NULL)?root:p; 
 9         node *temp=p; 
10          while(temp!=root && temp->count!=-1){ 
11             cnt+=temp->count; 
12             temp->count=-1; 
13             temp=temp->fail; 
14         } 
15         i++;                 
16     }    
17      return cnt; 
18 }

    对照图-2，看一下模式匹配这个详细的流程，其中模式串为yasherhs。对于i=0,1。Trie中没有对应的路径，故不做任何操作；i=2,3,4时，指针p走到左下节点e。因为节点e的count信息为1，所以cnt+1，并且讲节点e的count值设置为-1，表示改单词已经出现过了，防止重复计数，最后temp指向e节点的失败指针所指向的节点继续查找，以此类推，最后temp指向root，退出while循环，这个过程中count增加了2。表示找到了2个单词she和he。当i=5时，程序进入第5行，p指向其失败指针的节点，也就是右边那个e节点，随后在第6行指向r节点，r节点的count值为1，从而count+1，循环直到temp指向root为止。最后i=6,7时，找不到任何匹配，匹配过程结束。

数组实现const int alph_num=4;

const int stack_ac=1111;

const int MOD=100000;

#define min(a,b) ((a)<(b)?(a):(b))

struct node{

int next[alph_num];

int fail;

int id;

void init(){

memset(next,0,sizeof(next));

fail=0;

id=0;

}

}tree[stack_ac];

int tp;

//int que[stack_ac];

void init_ac(){

tree[0].init();

//memset(tree,0,sizeof(node));

tp=1;

}

int ind(char c){//inline

switch(c){

case'A':

return 0;

case'C':

return 1;

case'T':

return 2;

case'G':

return 3;

}

return -1;

}

void insert_ac(char *key){

int index,p,i;

for(i=p=0;key[i];i++){

index=ind(key[i]);

if(0==tree[p].next[index]){

//memset(tree+tp,0,sizeof(node));

tree[tp].init();

tree[p].next[index]=tp++;

}

p=tree[p].next[index];

}

tree[p].id=-1;

}

void build_ac(){

int cnt=0;

int i,p=0,q=0,u,v;

queue<int>que;

for(i=0;i<alph_num;i++){

if(tree[0].next[i]){

//que[p++]=tree[0].next[i];

    que.push(tree[0].next[i]);

}

}

while(!que.empty()){//q<p

//u=que[q++];

u=que.front();

que.pop();

for(i=0;i<alph_num;i++){

v=tree[u].next[i];

if(v){

//que[p++]=v;

que.push(v);

tree[v].fail=tree[tree[u].fail].next[i];

tree[v].id|=tree[tree[v].fail].id;

}

else{

tree[u].next[i]=tree[tree[u].fail].next[i];

}

}

}

}