基于PHP的DFA算法(敏感词过滤)

基于PHP的DFA算法(敏感词过滤)

看到网上很多的DFA算法,很多都有不同程度的问题,自己修改了一下,亲测没有问题,用在系统中过滤敏感词汇,比正则匹配的速度快很多。

class DFA
{
    private $arrHashMap = [];

    public function getHashMap()
    {
        return $this->arrHashMap;
    }

    public function addKeyWord($strWord)
    {
        $len = mb_strlen($strWord, 'UTF-8');
        // 传址
        $arrHashMap = &$this->arrHashMap;
        for ($i = 0; $i < $len; $i++) {
            $word = mb_substr($strWord, $i, 1, 'UTF-8');
            // 已存在
            if (isset($arrHashMap[$word])) {
                if ($i == ($len - 1)) {
                    $arrHashMap[$word]['end'] = 1;
                }
            } else {
                // 不存在
                if ($i == ($len - 1)) {
                    $arrHashMap[$word] = [];
                    $arrHashMap[$word]['end'] = 1;
                } else {
                    $arrHashMap[$word] = [];
                    $arrHashMap[$word]['end'] = 0;
                }
            }
            // 传址
            $arrHashMap = &$arrHashMap[$word];
        }
    }

    /**
     * 搜索并替换
     * @param $strWord
     * @return string|string[]|null
     */
    public function searchKey($strWord)
    {
        $len = mb_strlen($strWord, 'UTF-8');
        $arrHashMap = $this->arrHashMap;
        $keywords = '';
        for ($i = 0; $i < $len; $i++) {
            $word = mb_substr($strWord, $i, 1, 'UTF-8');
            if (!isset($arrHashMap[$word])) {
                $keywords = '';
                $arrHashMap = $this->arrHashMap;
                continue;
            }
            $keywords .= $word;
            if ($arrHashMap[$word]['end'] == 1 ) {
                $strWord = preg_replace('/' . $keywords . '/i', str_repeat('*', mb_strlen($keywords)), $strWord, 1);
                $keywords = '';
                $arrHashMap = $this->arrHashMap;
            }
            else{
                if(!isset($arrHashMap[$word][mb_substr($strWord, $i + 1, 1, 'UTF-8')])){
                    $keywords = '';
                    $arrHashMap = $this->arrHashMap;
                }
                else{
                    $arrHashMap = $arrHashMap[$word];
                }
            }
        }
        return $strWord;
    }
$DFA = new DFA();
$DFA->addKeyWord('太难了');
$DFA->addKeyWord('非常难');
$DFA->searchKey('我真的是太难了而且非常难');

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值