字典树、AC自动机、后缀数组

已于 2022-08-24 21:58:40 修改
阅读量508 收藏 1
点赞数 1
分类专栏： # 字符串 文章标签： c++ 算法 蓝桥杯
于 2022-08-24 21:43:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PURSUE__LIFE/article/details/126509974
版权

目录

字典树

AC自动机

后缀数组

        在学习的过程中，不懂的可以先将功能代码作为API，首先懂得如何调用，懂得各个特定数组的定义，先会灵活使用即可。

字典树

        字典树，顾名思义，这里以26个小写字母为例。特别地，字典树的根节点，字符内容为空。而对于字典树上的每一个节点（包括根节点），都有26个孩子节点。

这里需要非常清楚 trie[cur][i] 数组的含义：代表编号为cur的节点的第i个孩子的节点。 

题目概述：

        给n个字符串s1...sn,  再给出一个字符串p，问s1...sn中，前缀为p的字符串有多少个？

// problem :  

#include <bits/stdc++.h>
using namespace std;
#define ll long long
typedef pair<int, int> PII;
#define pb push_back

char s[15];
int trie[1000010][26];
int val[1000010];
int sz = 0;
void insert(char s[]) {
    int size = strlen(s), cur = 0;
    for (int i = 0; i < size; ++i) {
        int v = s[i] - 'a';
        if (trie[cur][v] == 0)
            trie[cur][v] = ++sz;
        cur = trie[cur][v];
        val[cur]++;
    }
}
int query(char s[]) {
    int size = strlen(s), cur = 0;
    for (int i = 0; i < size; ++i) {
        int v = s[i] - 'a';
        if (trie[cur][v] == 0) return 0;
        cur = trie[cur][v];
    }
    return val[cur];
}
int main(){
    int n; scanf("%d", &n);
    for (int i = 1; i <= n; ++i) {
        scanf("%s", s);
        insert(s);
    }
    scanf("%s", s);
    printf("%d\n", query(s));
    return 0;
}

AC自动机

        KMP是单模式匹配文本算法，其中关键是nxt数组。核心思想是：最大限度地利用先前已经匹配的字符，从而避免无效字符的多次匹配。

        AC自动机是多模式匹配文本算法，其中的关键是fail数组，核心思想同KMP一样。将多个字符串构建成一颗字典树，在字典树上跑“KMP”， 其实AC自动机跟KMP没什么联系，只是思想上是差不多的。 

上图为  abcd、abd、bcd、cd四个字符串建立的字典树。

        比如文本串为abcf， 在匹配到abcd中的c之后，发现f不匹配，根据fail数组，我们将原本匹配的abc变化为“已经”匹配好的bc，从而对文本匹配的过程进行了加速。所以关键是fail数组如何去构建。该过程由BFS完成。

题目链接：Keywords Search Problem - 2222 (hdu)

题目概述：

        给出一个文本串和多个模式串，求该文本串中包含多少种模式串？

题目分析：

        求多少种，所以，在匹配完一个模式串之后，将对应的val值置为-1，如果下次遇到val = -1的点，就跳过。（不跳过也行，但就相当于没有一个很好的剪枝操作， 可能导致时间超限， 需要注意的是，memset在数组大的时候，也是一个很耗时的操作，没必要将所有的数组元素memset）

// problem :  

#include <bits/stdc++.h>
using namespace std;
#define ll long long
typedef pair<int, int> PII;
#define pb push_back


// AC自动机
const int N = 1001005;
int trie[N][26], val[N], fail[N], sz;
queue<int> q;
struct AC_Automaton {
    AC_Automaton() {
        sz = 0;
        memset(trie[0], 0, sizeof(trie[0]));
    }
    void node_clear(int x) {
        memset(trie[x], 0, sizeof(trie[x]));
        val[x] = fail[x] = 0;
    }
    void insert (char s[]) {
        int len = strlen(s + 1), cur = 0;
        for (int i = 1; i <= len; ++i) {
            int v = s[i] - 'a';
            if (!trie[cur][v]) {
                trie[cur][v] = ++sz;
                node_clear(sz);
            }
            cur = trie[cur][v];
        }
        val[cur]++;
    }
    void get_fail() {
        for (int i = 0; i < 26; ++i) if (trie[0][i]) {
            fail[trie[0][i]] = 0;
            q.push(trie[0][i]);
        }
        while (!q.empty()) {
            int cur = q.front(); q.pop();
            for (int i = 0; i < 26; ++i) {
                if (trie[cur][i]) fail[trie[cur][i]] = trie[fail[cur]][i], q.push(trie[cur][i]);
                else trie[cur][i] = trie[fail[cur]][i];
            }
        }
    }

    int query(char s[]) {
        int len = strlen(s + 1), cur = 0, ans = 0;
        for (int i = 1; i <= len; ++i) {
            cur = trie[cur][s[i] - 'a'];
            for (int t = cur; t && ~val[t]; t = fail[t]) {
                ans += val[t];
                val[t] = -1;
            }
        }
        return ans;
    }
};
// 读入
int n;
char s[N];
void solve() {
    scanf("%d", &n);
    AC_Automaton AC;

    for (int i = 1; i <= n; ++i) {
        scanf("%s", s + 1);
        AC.insert(s);
    }
    AC.get_fail();
    scanf("%s", s + 1);
    int ans = AC.query(s);
    printf("%d\n", ans);
}

int main(){
    int t; scanf("%d", &t);
    for (int i = 1; i <= t; ++i) {
        solve();
    }

    return 0;
}

后缀数组

以例子来介绍后缀数组。

例如有个字符串为ababc，则其后缀字符串为：

 abaca

   baca

     aca

       ca

         a

将后缀字符串按字典序从小到大进行排序后，得到：

a

abaca

aca

baca

ca

后缀数组中，两个至关重要的是 sa数组，以及height数组。还有一个数组结构为rnk数组

sa[i] ： 字典序排名第i的后缀字符串是排序前的第sa[i]个字符串。

height[i] :  排序后的第i个字符串和第i - 1个字符串的最大匹配前缀是height[i] 

rnk[i] ： 与sa[i]相反，排序前的第i个字符串在排序后排名第几

由sa数组的定义可知，排序后的第i个字符串在初始串的下标，为sa[i]

以上述的例子为例，求出各数组的值：

i    排序前   排序后    sa     rnk    height

1   abaca    a              5       2          0

2     baca    abaca      1       4          1

3       aca    aca          3       3          1

4         ca    baca        2       5          0

5           a    ca            4       1          0

求sa、height、rnk数组的模板为：

const int N = 200005;

int wa[N],wb[N],wv[N],wss[N];
int cal[N], sa[N], rak[N], height[N];
int cmp(int *r,int a,int b,int l)
{return r[a]==r[b]&&r[a+l]==r[b+l];}
void get_sa(int *r,int *sa,int n,int M) {
    int i,j,p,*x=wa,*y=wb,*t;
    for(i=0;i<M;i++) wss[i]=0;
    for(i=0;i<n;i++) wss[x[i]=r[i]]++;
    for(i=1;i<M;i++) wss[i]+=wss[i-1];
    for(i=n-1;i>=0;i--) sa[--wss[x[i]]]=i;
    for(j=1,p=1;p<n;j*=2,M=p) {
        for(p=0,i=n-j;i<n;i++) y[p++]=i;
        for(i=0;i<n;i++) if(sa[i]>=j) y[p++]=sa[i]-j;
        for(i=0;i<n;i++) wv[i]=x[y[i]];
        for(i=0;i<M;i++) wss[i]=0;
        for(i=0;i<n;i++) wss[wv[i]]++;
        for(i=1;i<M;i++) wss[i]+=wss[i-1];
        for(i=n-1;i>=0;i--) sa[--wss[wv[i]]]=y[i];
        for(t=x,x=y,y=t,p=1,x[sa[0]]=0,i=1;i<n;i++)
        x[sa[i]]=cmp(y,sa[i-1],sa[i],j)?p-1:p++;
    }
    return;
}
void get_height(int *r,int *sa,int n) {
    int i,j,k=0;
    for(i=1;i<=n;i++) rak[sa[i]]=i;
    for(i=0;i<n;height[rak[i++]]=k)
    for(k?k--:0,j=sa[rak[i]-1];r[i+k]==r[j+k];k++);
    for(int i=n;i;i--)rak[i]=rak[i-1],sa[i]++;
}
// 调用方法举例
while(~scanf("%s",s + 1)){
    n = strlen(s + 1);
    for (int i = 1; i <= n; i++) {
        cal[i] = s[i];
    } // 将s[i]数组转换为cal数组，如果全是小写字符，可以将字符集的范围缩小到26
    cal[n + 1] = 0;
    get_sa(cal + 1, sa, n + 1, 300); // 300 是ASCII码的范围
    get_height(cal + 1, sa, n);

}

题目链接：Problem - 1403 (hdu) Longest Common Substring

题目描述：

        求两个字符串S、P的最长公共子串的长度，（最长公共字符串也可以求出

题目分析：

        height数组表示相邻两个后缀字符串的最大前缀匹配数，所以，求最大的height即可。后缀数组求法，针对的是一个字符串，所以我们采用将两个字符串通过‘#’连接起来。注意在取最大的height时，相邻的两个后缀字符串必须一个是属于S的，一个是属于P的。

// problem :  

#include <bits/stdc++.h>
using namespace std;
#define ll long long
typedef pair<int, int> PII;
#define pb push_back
const int N = 200005;

int wa[N],wb[N],wv[N],wss[N];
int cal[N], sa[N], rak[N], height[N];
int cmp(int *r,int a,int b,int l)
{return r[a]==r[b]&&r[a+l]==r[b+l];}
void da(int *r,int *sa,int n,int M) {
    int i,j,p,*x=wa,*y=wb,*t;
    for(i=0;i<M;i++) wss[i]=0;
    for(i=0;i<n;i++) wss[x[i]=r[i]]++;
    for(i=1;i<M;i++) wss[i]+=wss[i-1];
    for(i=n-1;i>=0;i--) sa[--wss[x[i]]]=i;
    for(j=1,p=1;p<n;j*=2,M=p) {
        for(p=0,i=n-j;i<n;i++) y[p++]=i;
        for(i=0;i<n;i++) if(sa[i]>=j) y[p++]=sa[i]-j;
        for(i=0;i<n;i++) wv[i]=x[y[i]];
        for(i=0;i<M;i++) wss[i]=0;
        for(i=0;i<n;i++) wss[wv[i]]++;
        for(i=1;i<M;i++) wss[i]+=wss[i-1];
        for(i=n-1;i>=0;i--) sa[--wss[wv[i]]]=y[i];
        for(t=x,x=y,y=t,p=1,x[sa[0]]=0,i=1;i<n;i++)
        x[sa[i]]=cmp(y,sa[i-1],sa[i],j)?p-1:p++;
    }
    return;
}
void calheight(int *r,int *sa,int n) {
    int i,j,k=0;
    for(i=1;i<=n;i++) rak[sa[i]]=i;
    for(i=0;i<n;height[rak[i++]]=k)
    for(k?k--:0,j=sa[rak[i]-1];r[i+k]==r[j+k];k++);
    for(int i=n;i;i--)rak[i]=rak[i-1],sa[i]++;
}
char s[N];
int n1, n;
int main(){
    while(~scanf("%s",s + 1)){
        n1 = strlen(s + 1);
        s[n1 + 1] = '$';
        scanf("%s", s + n1 + 2);
        n = strlen(s + 1);
        for (int i = 1; i <= n; i++) {
            cal[i] = s[i];
        }
        cal[n + 1] = 0;

        da(cal + 1, sa, n + 1, 300); // 300 是ASCII码的范围
        calheight(cal + 1, sa, n);
        int ans = 0;
        int pos = -1;
        for (int i = 2; i <= n; ++i) {
            if (height[i] > ans && 
                ((sa[i] < n1 && sa[i - 1] >= n1) || (sa[i - 1] < n1 && sa[i] >= n1)))
                ans = height[i], pos = sa[i];
        }
        printf("%d\n", ans);
        // 最长公共字符串
        for (int i = 1; i <= ans; ++i) {
            printf("%c", s[pos + i - 1]);
        }
        puts("");
    }
    return 0;
}
xingxg.
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
字典树实现AC自动机
01-03
接下来，我们将深入探讨AC自动机的工作原理、实现方法以及它与字典树的关系。 **AC自动机的基本概念** AC自动机是由Aho和Corasick在1975年提出的，它的核心思想是构建一个状态机，每个状态代表一个或多个字符串，...
AC自动机
03-06
**AC自动机（Aho-Corasick算法）**是一种高效的字符串搜索算法，它基于字典树（Trie）数据结构，能够一次性查找多个模式串在文本中的出现情况。AC自动机的主要优势在于避免了对同一个文本位置多次进行模式匹配，大大...
AC自动机 后缀数组 随笔
dengcuan6219的博客
07-13 164
天天一头雾水，真是头大呢； 也祝自己生日快乐7.12，真是和海亮美好的回忆； AC自动机：自动A题的机器；显然这样说是错的； 这个东西 我只想写一下自己的理解 然后一些总结； 首先 它是具有KMP性质的东西，但是又是有区别的； KMP的Next数组是用来最长公共前后缀，而AC自动机的fail指针是用来搞相同后缀即可； 因为KMP只对一个模式串做匹配，而AC自动机要对多个模式串...
字典树&&AC自动机---看完应该会...了...吧
simao
04-19 1193
目录 字典树 AC自动机 字典树 又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。其基本操作有：查找、插入和删除,当然删除操作比较少见。----百度词条 一个插入字符...
自然语言处理学习笔记（七）————字典树效率改进
laosao_66的博客
08-24 950
fail表保存的是状态间一对一的关系，存储状态转移失败后应当回退的最佳状态。举个例子：我们的模式串为“自然语言”，如果用字典树查询，以“自“为起点， 找到”自然语言“后，起点又退回到”然“继续扫描...如果扫描到”自然语言“的同时知道”然语言“、”语言“、”言”不在字典树中，则可以少查询三次，观察这三个字符串，它们共享递进式的后缀，所以可以引入后缀树。output 表中的元素有两种，一种是从初始状态到当前状态的路径本身对应的模式串（比如2号状态），另一种是路径的后缀所对应的模式串（比如5号状态）。
AC 自动机算法介绍
实践求真知
10-12 671
算法和数据结构
2018/8/18 部分算法应用总结
胖亚亚的小酒馆
08-18 236
1.后缀数组和AC自动机都可以处理多模板的文本匹配问题 不同： AC自动机需要事先知道所有的模板，然后对于一个文本串进行多模板匹配（在线输入） 后缀数组需要事先知道整个文本串，模板可以一个一个的动态输入 2.字典树Trie   判断一个单词是否属于字典时有优势   判断一个文本包含多少个字典中单词的时候可以采用AC自动机 3.KMP 可以做到统计一个串出现的次数 找到模板第一次出...
单模匹配：KMP与扩展KMP
qq_42852687的博客
10-07 250
字符串基础算法一，KMP 匹配朴素思考标准思考代码实现二，trie 字典树三，AC 自动机 一，KMP 匹配 题面：所谓字符串匹配，是这样一种问题：“字符串 P 是否为字符串 S 的子串？如果是，它出现在 S 的哪些位置？” 约定：其中 S 称为主串；P 称为模式串 朴素思考 枚举每个S中长度为strlen(P)strlen(P)strlen(P)的子串，直接判断字符串相等 在这个过程中，可能直到 len(P)−1len(P)-1len(P)−1 位的时候，串子还是匹配的，不过在最后一位失败了，那么下一次还
AC自动机_AC自动机模板_
09-30
4. 构建AC自动机：将处理完失败链接的字典树转化为AC自动机，此时每个节点不仅包含了指向子节点的指针，还包含了失败链接和一个“报告”数组，用于记录该节点作为前缀时，所有匹配模式串的信息。 在实际应用AC...
AC自动机模板
12-08
**AC自动机（Aho-Corasick Algorithm）模板** AC自动机是一种字符串搜索算法，它在文本中查找多个模式串的出现情况。该算法由艾伦·科拉斯和戈登·科拉斯在1975年提出，是KMP算法和后缀自动机的结合，具有高效性和...
后缀树组基础！！！！！
08-18
- **AC自动机**：在文本串中查找多个模式串是否存在，可以通过二分法在后缀数组上查找，找出模式串是否为某个后缀的前缀。 5. 实现细节 在实现过程中，通常会用到桶排序（bucket sort）和计数排序（counting sort...
后缀trie树 & 后缀自动机
weixin_44410512的博客
09-13 301
后缀trie树 后缀trie树 就是在一个字典树里有且只有一个单词的所有后缀 列出字符串MISSISSIPPIMISSISSIPPIMISSISSIPPI的所有后缀 MISSISSIPPI ISSISSIPPI SSISSIPPI SISSIPPI ISSIPPI SSIPPI SIPPI IPPI PPI ...
字典树问题与AC自动机
u012864854的博客
04-10 742
    Trie树，又称字典树，单词查找树或者前缀树，是一种用于快速检索的多叉树结构，如英文字母的字典树是一个26叉树，数字的字典树是一个10叉树。字典树的核心就是空间换时间，空间消耗大，但是插入和查询有着很优秀的时间复杂度，利用字符串的公共前缀来避免无谓的字符串比较，降低查询时间。    Trie树的平均高度h为单词平均长度len，所以Trie树的查询复杂度为O（h）=O（len）字典树节点： ...
字符串匹配的三个算法（KMP+字典树+AC自动机）
热门推荐
我的博客
12-18 1万+
字符串匹配算法，KMP，字典树，AC自动机。 分别对应一对一匹配，一对多匹配，多对多匹配。
【数据结构】自动机全家桶(AC、回文、后缀自动机)
qq_49688477的博客
09-13 1001
AC自动机、回文自动机、后缀自动机
浅谈 AC 自动机
最新发布
一棵油菜花的OI博客
01-16 1582
省流：比后缀数组还要简单的 AC 自动机！！
AC自动机——1 Trie树(字典树)介绍
永生只是一场幻梦
10-15 7491
之前，我们介绍了Kmp算法，其实，他就是一种单模式匹配。当要检查一篇文章中是否有某些敏感词，这其实就是多模式匹配的问题。当然你也可以用KMP算法求出，那么它的时间复杂度为O(c*(m+n))，c：为模式串的个数。m：为模式串的长度,n:为正文的长度，那么这个复杂度就不再是线性了，我们学算法就是希望能把要解决的问题优化到极致，这不，AC自动机就派上用场了。
字典树与AC自动机
qq_38993096的博客
03-31 155
字典树教程 字典树 建树 查找 AC自动机是在字典树的基础上加入了fail指针，使其实现类似于KMP算法中类似next数组的功能。 AC自动机 简单 AC自动机 详细 在这里插入代码片 在这里插入代码片 ...
字典树（AC自动机）的两种实现方式
qq_2992427261
09-09 607
第一个：使用数组； 将根结点编号为0，然后把其余结点（包括叶子节点和非叶子节点）编号为从1开始的正整数，然后用一个数组来保存每个结点的所有子节点，用下标直接存取。 ch[i][j]保存结点i的那个编号为j的子结点的编号什么叫“编号为j”呢？比如，若是处理全部 由小写字母组成的字符串，把所有小写字母按照字典序编号为0，1，2，…，则ch[i][0]表示结点编号为i的a的下一个节点的编号。如果这个子...
字符串处理算法详解：Hash、KMP、字典树、AC自动机与后缀数组
"这篇资料主要介绍了字符串处理算法，包括Hash、KMP、字典树、AC自动机和后缀数组等方法，适用于ACM/ICPC竞赛训练。内容涵盖Hash算法的基本思想、冲突解决策略，如Rabin-Karp算法以及Java中的HashMap应用，并给出了...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

xingxg.

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值