如何快速高效处理违规信息

如何自动识别和处理，需要搞清楚内容包含的信息载体元素和发布内容的行为模式。

信息载体上，内容可分为文字、图片、音频、视频，其中对文字的处理手段最成熟，即关键词、URL等特殊文本信息过滤，图片、音频、视频，恶意URL链接地址识别。这个过程时间极短，系统只能通过词库或者二维模型做简单运算并给出是否发布成功的提示，不能做过多运算。如BBS、CMS都采用此过滤法处理。

行为模式上，对用户所处地理位置（IP识别、地域识别）、访问方式（登录行为方式停留时间、是否立即发布后离开）、内容发布行为（发布频率、提交速度如何）、账号资料（昵称、邮箱是否有无规律；是否间隔更换账号登录、账户之间是否同一批次注册等）、社交关系（是否与马甲账号关联、是否有真实社交关系存在、是否参与互动），通过这些维度建立模型进行用户过滤（是否禁用账号），内容过滤。这个过程需要系统强大的运算，故在发布后进行处理。比如搜搜问问违规问答发布后几分钟被清理，就是采用的此方法。

对机器无法识别处理的内容，比如一些文字内容中关键词隐喻（正话反说、哑谜等手法）、拆分（如装13）等处理手法，机器没法识别，可采用用户举报功能。系统通过收集用户反馈，对内容进行协同过滤。比如新浪微博大多数内容的有举报功能。

但也有特殊情况，内容发布的时候不违法规则，但发布后造成了不良影响被判为违规内容了。这时候通常采用系统管理员立即进行人工清理。如新浪微博李开复事件禁言三天。