敏感词
woshiaotian
点滴的积累,可以铸就未来。
QQ:346873803
EMAIL:346873803@qq.com
展开
-
DFA 算法实现关键词匹配
起因: 从网页中爬去的页面,需要判断是否跟预设的关键词匹配(是否包含预设的关键词),并返回所有匹配到的关键词 。 目前pypi 上两个实现ahocorasick https://pypi.python.org/pypi/ahocorasick/0.9 esmre https://pypi.python.org/pypi/esmre/0.3.1但是其实包都是基于DFA 实现的 这里提供源码如原创 2015-06-12 11:23:08 · 5989 阅读 · 0 评论 -
DFA 算法实现敏感词过滤(字典树)
敏感词过滤的经典算法DFA ,看完相关资料后,自己实现了一下,同时做了评估实验先上代码#!/usr/bin/python2.6 # -*- coding: utf-8 -*-import timeclass Node(object): def __init__(self): self.children = None# The encode of word is UTF-8原创 2013-08-18 16:38:02 · 13155 阅读 · 8 评论