DFA 敏感词过滤算法

dfa 算法

  1. 创建字典树
  2. 对输入的词典进行匹配

创建节点 这里的结点就是上面那幅图

package DFA

type Node struct {
	//结束
	End bool
	//节点
	Next map[rune]*Node
}

// AddChild  add char
func (n *Node) AddChild(c rune) *Node {
	if n.Next == nil {
		n.Next = make(map[rune]*Node)
	}
	// 这个字符存在 直接返回
	if node, ok := n.Next[c]; ok {
		return node
	} else {
		n.Next[c] = &Node{
			End:  false,
			Next: nil,
		}
	}
	return n.Next[c]
}

// FindChild find char
func (n *Node) FindChild(c rune) *Node {
	if n.Next == nil {
		return nil
	}
	if node, ok := n.Next[c]; ok {
		return node
	}
	return nil
}

// AddWords add words
func (n *Node) AddWords(w string) {
	node := n
	r := []rune(w)
	for i, _ := range r {
		node = node.AddChild(r[i])
	}
	node.End = true
}

AddChild 字典树中添加字符
FindChild 查询字符
AddWords 添加单词

package DFA

type DFAMatcher struct {
	Root *Node
}

func NewDFAMatcher() *DFAMatcher {
	return &DFAMatcher{
		Root: &Node{
			End: false,
		},
	}
}
func (D *DFAMatcher) Build(strings []string) {
	for i := range strings {
		D.Root.AddWords(strings[i])
	}
}

//  Match 匹配
func (D *DFAMatcher) Match(text string) bool {
	runes := []rune(text)
	child := D.Root
	for i := 0; i < len(runes); i++ {
		//如果没有 ,就往下面找
		findChild := child.FindChild(runes[i])
		if findChild == nil {
			//如果没有匹配 在差从根节点查询
			node := D.Root.FindChild(runes[i])
			if node == nil {
				continue
			}
			//把当前节点给查询节点
			child = node
			continue
		}
		if findChild.End == true {
			return true
		}
		//把根节点换成当前节点
		child = findChild
	}
	return false
}

Build 构建字典树
Match 匹配铭感词 // true 存在 false 不存在
这里的Match()方法可以抽一个接口出来,这样可以自定义我们别的过滤算法

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值