脏词过滤

刚好有空,近来抽空看了下lua-crab,虽然算法不是最好的,但够用就好
lua-crab代码很简单,测试的算法和主要代码加起来没超过200行

首先,词库很可能是几千到上万个,所以为了快速检索出脏词,hash应该是很好的选择,所以作者定义了这么一个函数:

unsigned int _hash(wchar_t c) {
    unsigned low = c & 0xFFFF;
    unsigned high = (c>>16) & 0xFFFF;
    return high ^ low;
}

在lua版本里是这个

static TableNode*
mainposition(Table *t, uint32_t key) {
    return &t->node[(key & (t->capacity -1))];
}

然后就是重点了,两个函数参数key和c都是一个字符
所以,crab的主要算法是以第一个字符构成hash表,然后在这个hash下面创建一个列表,并保存这个key

检查脏词的时候,把每个字符通过hash后,如果有找到列表,再遍历列表,比较key,如果相等,则找到脏词

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值