回忆下 敏感词

想起一个敏感词过滤的方法

大概逻辑就是：循环敏感词库的内容，然后 1. 直接在用户提交的字符串中匹配 2. 去除特殊符号后匹配 3. 提取其中的中文部分，组成整句，进行匹配 4. 提前英文部分，以单词为单位，进行匹配。 这四种可以想象为四个级别，判断的时候，增加或者减少条件判断，能够调整过滤级别
一般常规的越过敏感词验证是在其中加上干扰符号，例如 一个傻￥%&×叉 ，也有可能是夹杂单词，例如 一个傻tm叉 ，单词中如果是 f-u-c-k ，这样的都可以被处理。越过的方法是夹杂其他语种的词汇就行，例如 é-f-é-u-é-c-é-k-é ，这样的暂时未处理。

代码如下：

// $str = '他是个傻@B bitchSADF啊，傻xx逼! é-f-é-u-é-c-é-k-é?';
if (!function_exists('sensitiveWordFilter')) {
    function sensitiveWordFilter($str)
    {
        // $words = getSensitiveWords();
        $words = ['fuck', '傻逼', 'bitch啊'];   // 建议从文件或者缓存中读取敏感词列表，英文约定小写
        $flag = false;

        // 提取中文部分，防止其中夹杂英语等
        preg_match_all("/[\x{4e00}-\x{9fa5}]+/u", $str, $match);
        $chinsesArray = $match[0];
        $chineseStr = implode('', $match[0]);
        $englishStr = strtolower(preg_replace("/[^A-Za-z0-9\.\-]/", " ", $str));

        $flag_arr = array('？', '！', '￥', '（', '）', '：' , '‘' , '’', '“', '”', '《' , '》', '，', 
        '…', '。', '、', 'nbsp', '】', '【' ,'～', '#', '$', '^', '%', '@', '!', '*', '-'. '_', '+', '=');
        $contentFilter = preg_replace('/\s/', '', preg_replace("/[[:punct:]]/", '', 
        strip_tags(html_entity_decode(str_replace($flag_arr, '', $str), ENT_QUOTES, 'UTF-8'))));

        // 全匹配过滤,去除特殊字符后过滤中文及提取中文部分
        foreach ($words as $word)
        {
            // 判断是否包含敏感词,可以减少这里的判断来降低过滤级别，
            if (strpos($str, $word) !== false || strpos($contentFilter, $word) !== false || strpos($chineseStr, $word) !== false 
            || strpos($englishStr, $word) !== false) {
                return '敏感词:' . $word;
            }
        }
        return $flag ? 'yes' : 'no';
    }
}

github 地址： https://github.com/Alpha2016/pinyin-poem/blob/master/app/helpers/helpers.php
如果发现 bug，大家提醒我一下的，我在修正，现在没有考虑性能。

 

本文章首发在 Laravel China 社区