敏感词的风控策略是游戏行业中的风控法律系统中最基本,也是最复杂的。内容虽然简单但非常琐碎,系统主要涉及从用户信息发布、用户举报、命中策略到审核数据处理、用户画像到AI识别等方方面面。
本文系统性的整理总结了工作时间以来在敏感词运营管理系统进行搭建一个方面的经验和想法,作为一种自我分析总结回顾的同时,也希望通过分享出来避免其他同学在敏感词运营能力方面少走弯路。
敏感词系统是搜索和内容产品的基本风险控制系统。该系统可过滤基本文本敏感内容,灵活掌握敏感词过滤方法,结合业务条线,灵活掌握用户触摸敏感词。过滤的方法一般可以分为以下两大类:
1. 词过滤:对搜索业务的搜索词进行直接过滤。
2. 结果进行过滤:针对命中敏感词的结果可以直接通过过滤。
敏感词系统最基本的功能是匹配词库,但面对越来越复杂的产品形式,使用单一敏感词系统的问题基本上有以下四类:
场景一:A产品上线需要进行小规模的内部测试,产品中的评论功能需要与最基本的敏感词进行关联,以控制风险,但无法在操作叙词表中找到哪些是“基本”敏感词;
场景二:B产品被用户信息反馈有低俗色情文化内容,但敏感词明明自己已经可以添加过了,经检查发现该敏感词只管控了甲业务,新上的业务发展没有进行添加管控而被用户通过投诉;
场景三:C产品被老大反馈自己发表的评论消失了,开发查到是命中了敏感词导致找到了运营,但运营认为这个词字面上看确实有问题,可说不出添加依据;
场景四:及时手握大量数据敏感词,但依旧可以依靠人工进行排查来扩充词库,但比较费时费力。
因此,该系统将主要根据以上四类问题提出解决方案。在叙词表的基础上,根据敏感词的重要性将敏感词分为红线类、敏感词类和危险词类,不同的类别结合了用户和地域的维度。 不同的匹配方法,如规则匹配或精确匹配,作用于不同的服务,产生不同的结果。
敏感词会随着时间增多,这是一个不争的事实。游戏行业的一些极端玩家和不法分子会喜欢用一些违规和不良的信息扰乱游戏的健康环境。但敏感词过滤系统可以帮助企业,让敏感词随着时间逐步消失。谛听安全的人工智能技术可以让敏感词过滤更加精准高效,帮助企业减少运营成本,净化网络环境,消除负面气息。