系统白名单和黑名单的优先级_内容审核系统设计，需要做好以下几点

相信做内容方面的产品朋友们，都知道合规的重要性。倘若遇到事情了，轻则app短暂下架（导致DAU和收入双双下降），重则整个部门解散。基于这样的情况，设计出兼顾安全与用户体验的审核系统就十分必要。

1、做个定时开关

监管部门对各个内容类产品的审查力度，并不是一年365天都是相同强度的。比如重要会议期间，审核力度会比平时更大。为此，我们可以做个开关。在特殊的时间段内，开关开启，所有的评论都进入先审后发模式、禁止用户更改头像昵称。在平时，开关关闭，评论先发后审、用户更改头像昵称也是先发后审。

2、建立媒体黑白名单机制&敏感词库

命中媒体白名单的文章直接发布，无需进行审核。命中媒体黑名单的文章直接删除，同样无需进行审核。

有效分级：将命中敏感词库的文章评论与未命中的设置不同的优先级。

3、标记删除原因

审核同学每删除一篇文章或者一条评论，都需要标记至少一项原因。而这些删除的数据会被记录下来，用于机器学习。长此以往，经过大量数据的积累，我们很容易判别出风险高低，不过这需要时间。OCR识别、文本识别据说已渐渐应用于此领域。

4、质检必不可少

在和审核负责人沟通的过程中，我了解到具体到个人的KPI是在一定时间内完成一定数量的审核。站在被考察者的角度，很容易盲目追求数量而忽略了质量。为此引入了交叉审核与复审的概念：完成初审的文章会随机抽取一部分进入交叉审核（由同组另外同事完成），倘若两次结果不一致则进入复审最终确定（由审核负责人完成）。经过这样的流程，兼顾了高效与质量。

5、用心听但不必照着做

作为审核系统的设计者，必然要考虑到审核同学使用起来的便捷性。有些需求实现起来成本过高，不宜直接照搬，换个思路能达到使用者的目标就行。比如，需求：翻页控件要能直接点到最后一页，最终实现为“增加倒叙排列”。

6、巧用众包思维

就算审核系统再智能，审核团队再高效，也可能有疏漏。这时文章/视频详情页的"投诉"按钮就显得十分必要，用户点击后会上报到审核后台，审核同学能集中看到并处理被用户投诉的文章。

以上就是近一年来我对接审核需求时总结的一些经验，希望对大家有所帮助^_^