屏蔽敏感词汇&KMP

本文介绍了如何利用KMP模式匹配算法在互联网内容中屏蔽敏感词汇,以符合政策法规要求。通过建立屏蔽词库并按长度排序,先处理长词再处理短词,有效避免重复替换。
摘要由CSDN通过智能技术生成

在互联网上,由于一些政策法规,需要对一些帖子或者聊天记录进行关键字屏蔽,本文使用KMP模式匹配算法,将目标串S中的敏感词汇全部替换成*。

实际应用中需要一个屏蔽词库,需将每个屏蔽词条作为模式串T,分别过滤一次S串。

考虑到屏蔽词库中有相同前缀的屏蔽词,比如:“朱令”和“朱令案”,所以可以预先将屏蔽词库中的屏蔽词按照长度做由大到小的排序。先过滤长词,再过滤短词即可。

int getNext(char* s, int next[]) {
    next[0] = -1;

    int i = -1;
    int j = 0;
    while (j < strlen(s)) {
        if (i == -1 || s[i] == s[j]) {
            i++;
            j++;
            next[j] = i;
        } else {
            i = next[i];
        }
    }
    return 0;
}

int kmp(char* str, char* t, int next[]) {
    int j = 0;
    int i = 0;
    while (str[i] != '\0' && t[j] != '\0' && strlen(str) - i >= strlen(t) - j) {
        if (str[i] == t[j]) {
            i++;
            j++;
        } else {
            j = next[j]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值