DoubleArrayTrie和AhoCorasickDoubleArrayTrie的实用性对比

最新推荐文章于 2023-09-27 09:26:36 发布
最新推荐文章于 2023-09-27 09:26:36 发布
阅读量584 收藏
点赞数
原文链接：https://my.oschina.net/hankcs/blog/408634
版权

为什么80%的码农都做不了架构师？>>>   hot3.png

DoubleArrayTrie和AhoCorasickDoubleArrayTrie的实用性对比
前段时间开源了基于双数组Trie树的Aho Corasick自动机，当时认为在中文分词中，ACDAT应该能秒杀DAT。今天优化了DAT的多模式匹配后，竟然得出了意外的结果。当初的DAT实现中，为了支持多模式匹配，我写了一个Searcher结构，里面储存了当前扫描的起点，并且用一个链表储存了从当前起点开始途经的所有词串。接着只要不断地将起点往后挪一个，就支持了多模式匹配。也就是这个“挪一个单位”的动作，让我认为DAT在多模式匹配上，复杂度更高（应该是O(n2)，n是母文本的长度）。要知道，理论上AC自动机是线...

继续阅读：码农场 » DoubleArrayTrie和AhoCorasickDoubleArrayTrie的实用性对比

原文链接：http://www.hankcs.com/program/algorithm/double-array-trie-vs-aho-corasick-double-array-trie.html

转载于:https://my.oschina.net/hankcs/blog/408634

weixin_34344403
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
DoubleArrayTrie:DoubleArrayTrie Java 实现类
05-09
DoubleArrayTrie DoubleArrayTrie Java 实现类 参考博文
双数组Trie树(DoubleArrayTrie)Java实现
weixin_34241036的博客
06-09 373
为什么80%的码农都做不了架构师？>>> ...
使用aho-corasick-double-array-trie进行脏字过滤
最新发布
java_novice_qx的博客
09-27 219
具体来说，它通过构建一个双数组字典树，将所有的模式串存储起来，并且在构建过程中建立了各个节点之间的失败指针，以便在匹配过程中进行跳转。相比于传统的暴力匹配算法，Aho-Corasick 算法能够在线性时间内完成匹配操作，而不会因为模式串的数量增加而导致时间复杂度的大幅增加。这里要做的就是拿到敏感字文件里面的数据，然后对输入的数据进行过滤替换，这里使用了springboot和aho-corasick-double-array-trie库来进行过滤。库的效果取决于所需匹配的模式串数量和主串长度。
AC算法结合双数组trie树优化关键词匹配与替换
nzgry_csdn的博客
12-25 1233
AC算法结合双数组trie树优化关键词匹配与替换 参考文章和项目： Aho-Corasick算法的Java实现与分析 双数组Trie树(DoubleArrayTrie)Java实现 Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配 github项目：AhoCorasickDoubleArrayTrie 目录AC算法结合双数组trie树优化关键词匹配与替换trie树Aho-Corasick算法双数组trie树使用原理应用扩展build方法扩展匹配方法使用 trie树 trie
ac自动机 匹配最长前缀_Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配
weixin_39840616的博客
12-20 538
本文使用Double Array Trie实现了一个性能极高的Aho Corasick自动机，应用于分词可以取得1400万字每秒，约合27MB/s的分词速度。其中词典为150万词，构建耗时1801 ms。以前就在构想将AC自动机与双数组Trie树结合起来，考虑到持久化比较困难(goto和fail表是内存指针/引用)，一直没下决心实现，今天终于成功了。AC自动机能高速完成多模式匹配，然而具体实现聪明...
Trie树；双数组trie树
An_person的博客
07-16 276
将原来需要多个数组才能表示的Trie树，使用两个数组就可以存储下来，可以极大的减小空间复杂度。由于用base和check两个数组构成，又称为双数组字典树。具体来说就是使用两个数组base[]和check[]来维护Trie树，base[]负责记录状态，check[]用于检验状态转移的正确性，当check[i]为负值时，表示此状态为字符串的结束。
Aho Corasick自动机结合DoubleArrayTrie极速多模式匹配
weixin_34360651的博客
08-04 1689
2019独角兽企业重金招聘Python工程师标准>>> ...
hanlp中的AhoCorasickDoubleArrayTrie
[email protected]
06-27 1720
点击打开链接
AhoCorasickDoubleArrayTrie：基于Double Array Trie的Aho Corasick算法的极快实现
01-30
AhoCorasickDoubleArrayTrie 基于Double Array Trie结构的Aho Corasick算法的极快实现。 它的速度是幼稚实现的5到9倍，也许是迄今为止最快的实现；-) 介绍 您可能听说过Aho-Corasick算法可以快速解析带有巨大词典的...
Improved DoubleArrayTrie
10-19
这是针对大数据集优化了的双数组字典树，使得在大数据集上构建速度也比较满意，查询速度不随数据集的增加而增加，同时解决了数据集需要有序的要求.
aho-corasick-node:基于DoubleArray Trie的Aho-Corasick字符串匹配算法的Node实现
05-01
aho-corasick-node 基于DoubleArray Trie的Aho-Corasick字符串匹配算法的Node实现。 安装 npm install aho-corasick-node --save 用法 建造 const AhoCorasick = require ( 'aho-corasick-node' ) ; const keywords = [ 'b' , 'ba' , 'nan' , 'ab' ] ; const builder = AhoCorasick . builder ( ) ; keywords . forEach ( k => builder . add ( k ) ) ; const ac = builder . build ( ) ; 比赛 const text = 'banana' ; const hits = ac . match ( text
基于 Double Array Trie 的 Aho Corasick算法的 非常快的C# 实现_代码_下载
06-09
基于 Double Array Trie 的 Aho Corasick 算法的非常快速的 C# 实现：对具有 O(n) 复杂度的许多子字符串进行有效的文本搜索。 非常快：可用于以 O(n) 复杂度对数千个关键字进行有效的子字符串搜索。 trie 用双数组方法表示以最小化内存使用 自动机状态可以有效地保存/加载到二进制流（比如文件） 支持不区分大小写的搜索
Algorithm-AhoCorasickDoubleArrayTrie.zip
09-17
Algorithm-AhoCorasickDoubleArrayTrie.zip,基于双数组trie的aho-corasick算法的快速实现。,算法是为计算机程序高效、彻底地完成任务而创建的一组详细的准则。
双数组 DoubleArray Trie树的数组实现 双数组字典
10-26
Trie树是搜索树的一种，来自英文单词"Retrieval"的简写，可以建立有效的数据检索组织结构，是中文匹配分词算法中词典的一种常见实现。它本质上是一个确定的有限状态自动机（DFA），每个节点代表自动机的一个状态。在词典中这种状态包括＂词前缀＂，＂已成词＂等。 双数组Trie（Double-ArrayTrie）是trie树的一个简单而有效的实现，由两个整数数组构成，一个是base[]，另一个是check[]。设数组下标为i,如果base[i],check[i]均为0,表示该位置为空。如果base[i]为负值，表示该状态为词语。Check[i]表示该状态的前一状态，t=base[i]+a,check[t]=i
ahocorasick:使用Double Array Trie的Aho-Corasick算法的更快，更高效的Golang实现
05-28
Aho–Corasick算法 介绍 Golang中Aho-Corasick算法的更快，更有效的实现，并且支持中文和英文。 为了提高性能并减少内存使用，该程序使用Double Array Trie而不是常用的Linked List Trie 。 在基准测试中， it is 10 times faster than the most popular AC algorithm implement in golang @ github and tenth of its memory usage ， it is 10 times faster than the most popular AC algorithm implement in golang @ github and tenth of its memory usage 。 您可以在基准测试部分中找到更多信息。 该项目的灵感来自 除了使用
DoubleArrayTrie:双端trie树的python实现
04-29
DoubleArrayTrie 双端trie树的python实现 版本翻译于 将其改写成python3.5版本 最主要的贡献是 —— 1：实现了其模糊查询的功能；2：自定义编码值，解决双端trie树需要预定义字母表的问题 另外，有实现了字典Trie树...
DoubleArrayTrie:高级结构双数组Trie树（DoubleArrayTrie） java实现
05-05
DoubleArrayTrie Java编写的DoubleArrayTrie介绍用法// construct and buildDoubleArrayTrie dat = new DoubleArrayTrie(); for(String word: words) { dat.Insert(word); } System.out.println(dat.Base.length); ...
自然语言处理hanlp------9基于双数组字典树的AC自动机
iterhuiの博客
02-06 1343
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import
字典树---Python自然语言处理（3）
李元静
04-17 7387
目录什么是字典树DoubleArrayTrieSegmentAhoCorasickDoubleArrayTrieSegment 什么是字典树 在自然语言处理中，字符串集合常用字典树存储，这是一种字符串上的树形数据结构。字典树中每条边都对应一个字，从根节点往下的路径构成一个个字符串。 字典树并不直接在节点上存储字符串，而是将词语视作根节点到某节点之间的一条路径，并在终点节点上做个标记（表明到该节点就结束了）。 要查询一个单词，指需要顺着这条路径从根节点往下走。如果能走到标记的节点，则说明该字符串在集合中，否则
帮我写一段用java实现的双数组Trie树匹配敏感词的工具类并写一个例子
05-31
好的，以下是用Java实现的双数组Trie树匹配敏感词的工具类，以及一个简单的例子： ``` import java.util.Arrays; public class DoubleArrayTrie { private static final int BASE = 0; private static final int CHECK = 1; private static final int ROOT = 1; private int[][] trie; private int[] tail; private char[] charList; public DoubleArrayTrie(String[] keywords) { buildTrie(keywords); } private void buildTrie(String[] keywords) { charList = new char[256]; int maxDepth = 0; for (String keyword : keywords) { maxDepth = Math.max(maxDepth, keyword.length()); for (int i = 0; i < keyword.length(); i++) { charList[keyword.charAt(i)] = keyword.charAt(i); } } int[][] trie = new int[maxDepth + 1][256]; int[] tail = new int[maxDepth + 1]; int[] base = new int[maxDepth + 1]; int[] check = new int[maxDepth + 1]; int pos = ROOT; for (String keyword : keywords) { for (int i = 0; i < keyword.length(); i++) { char c = keyword.charAt(i); int index = charList[c]; if (trie[pos][index] == 0) { trie[pos][index] = ++pos; } pos = trie[pos][index]; } tail[pos] = 1; pos = ROOT; } int[] queue = new int[maxDepth + 1]; int qHead = 0, qTail = 0; queue[qTail++] = ROOT; while (qHead < qTail) { int p = queue[qHead++]; for (int i = 0; i < 256; i++) { int q = trie[p][i]; if (q != 0) { queue[qTail++] = q; int b = 0; while (true) { b = (int) (Math.random() * (maxDepth - 1)) + 1; if (check[b] == 0) { break; } } check[b] = p; base[b] = q; for (int j = 0; j < 256; j++) { if (trie[q][j] != 0) { trie[base[b] + j][0] = -1; } } } } } this.trie = trie; this.tail = tail; this.trie[ROOT] = base; this.trie[ROOT][0] = -1; this.trie[ROOT][1] = ROOT; this.trie[ROOT][2] = keywords.length + 1; this.trie[ROOT][3] = maxDepth; this.trie[ROOT][4] = maxDepth * 2 + 1; this.trie[ROOT][5] = maxDepth * 2 + 2; this.trie[ROOT][6] = 1; this.trie[ROOT][7] = 0; this.trie[ROOT][8] = -1; } public boolean contains(String text) { int pos = ROOT; for (int i = 0; i < text.length(); i++) { char c = text.charAt(i); int index = charList[c]; if (trie[pos][index] == 0) { return false; } pos = trie[pos][index]; } return tail[pos] == 1; } public String replace(String text, char replaceChar) { StringBuilder sb = new StringBuilder(); int pos = ROOT; for (int i = 0; i < text.length(); i++) { char c = text.charAt(i); int index = charList[c]; if (trie[pos][index] == 0) { sb.append(c); } else { pos = trie[pos][index]; if (tail[pos] == 1) { sb.append(replaceChar); } else { sb.append(c); } } } return sb.toString(); } } ``` 以下是一个使用示例： ``` public class TestDoubleArrayTrie { public static void main(String[] args) { String[] keywords = {"敏感词1", "敏感词2", "敏感词3"}; DoubleArrayTrie dat = new DoubleArrayTrie(keywords); String text = "这是一段包含敏感词1和敏感词3的文本。"; String filteredText = dat.replace(text, '*'); System.out.println(filteredText); } } ``` 该示例将输出 `这是一段包含***和敏感词3的文本。`。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值