Facebook、YouTube都会遇到的内容审核难题，今日头条是怎么解决的？

截止到2022年，Facebook全球月活已经突破27亿，Youtube是20亿，微信也超过13亿，可以说互联网已经覆盖了全球大部分人口，而随着使用人口同步激增的还有用户时长，以及内容的生产消费量级也呈指数级井喷，这海量的内容无论对大平台还是小公司都形成了巨大的管理难度和审核挑战。

2022年Facebook 上每天上传的照片超过5亿张，每分钟发布51万条评论，30万条新状态；每天在Instagram上的照片和视频分享量为9500万次；而在微信朋友圈，每天有14亿张图片被上传。每天约有3.7万亿字节的数据被创建，过去两年里生成的数据占到了全球总数据的90%，而预计到 2024年，全球互联网流量讲达到每秒 10.2 PB。

在内容数量井喷的同时，内容的形式也在不断变化。除了传统的图文类内容，音频、长视频和短视频，以及直播的比例在不断增加，这对于那些那些既追求实时性（发布速度和用户体验）、又追求不出问题（举报率和负面事件）的内容平台审核管理，提出了巨大而严峻的挑战。

包括Facebook和Youtube在内的国际顶级UGC平台，如今在这类老生常谈的问题上依然十分吃力，尤其是发达国家最为在意的低龄内容、种族歧视和跨国文化/多语言等问题，它俩其实一直未能交出一份让各方满意的答卷。

而国内今年比较知名的互联网内容社区类产品里，下架甚至关停的已经不下于10余款，尽管它们各自都有各自的问题，比如色情内容、微商、内容涉政等等，但归根结底，这还是用户激增带来的日益增长的内容生产量和无法跟上的审核措施和效率之间的矛盾。

如今的今日头条已经拥有海量的用户和多种形式的UGC内容，尽管体量上还颇有不如，但在内容审核方面遭遇的挑战同脸书和Youtube已经十分类似。

头条在这方面的一个创举是，经过多年的技术储备和经验积累后，它开放了内部反低俗系统的一个简化版本“灵犬反低俗助手”，希望普通创作者、社会公众更了解和关注反低俗。

用户只需要在灵犬的小程序内输入一段文字或文章链接，灵犬就可以帮助其检测内容健康指数，返回一个鉴定结果。对于用户输入的内容（文字或者图片），“灵犬”会先进行提取、分词和语义识别，然后根据相关规则，输出对应的分数、评级和结论。

在文本识别领域，头条同时应用了“Bert”和半监督技术，训练数据集包含920万个样本，准确率提升至91%。在图片识别领域，“灵犬”采用深度学习作为解决方案，在数据、模型、计算力等方面均做了针对性优化。

新版的灵犬3.0发布，重点拓展了反低俗识别类型和模型能力，现已覆盖图片识别和文本识别，后续，灵犬还将支持难度最大的语音识别和视频识别。

不过，今日头条的人工智能实验室王长虎也提到，AI暂时还是有缺陷的，今日头条现在有将近万余人的审核团队在辅助AI的审核。

比如对于低俗内容，它的定义本来就相对笼统难以精确，这项工作即使对人来说也不容易，交给机器做更难实现。

比如世界名画中常常出现裸体女子，如果完全交由机器判断，机器通过识别画中人物的皮肤裸露面积，就会认为这幅画是色情低俗的；而某些拍摄芭蕾舞的图片，以机器的视角来看，其实类似于裙底偷拍。

Facebook 曾经因为“裸露”，误删了一张著名的越战新闻照片，内容是一位小女孩遭到汽油弹炸伤、浑身赤裸奔跑，事件发生后引起了美国新闻界的巨大争议。

但是，在当前内容创作和消费规模海量增长的趋势下，如果依然纯靠人工去解决所有问题，那么必然效率低的同时还无法满足用户需求。谛听安全作为国内精准率最高的内容安全服务商，可通过可视化的智能系统优化网络内容，与现有的技术体系相结合帮助厂商减少人工成本。助力绿色网络环境将是谛听安全持之以恒的愿景与目的。
————————————————
版权声明：本文为CSDN博主「谛听安全」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Diting2020/article/details/127203017