又一大模型登场，背后隐患你不可不知

5月14日，Open AI 发布了全新旗舰大模型GPT-4o。GPT-4o中的“o”代表“Omni”，是一个全能型大模型，指的是该模型具备处理文本、语音和视频的任意组合能力，并且无缝衔接图文音频的多种形式输出。而在不久前，OpenAI才刚发布SORA大模型。暂且不探讨这些大模型具体有多强大的功能，本文将聚焦谈一谈“战场由大语言模型转向多模态大模型”下的隐患与建议。
多模态大模型指文本、图像、视频、音频等不同模态数据共同训练的大模型，可由文生图、由图生图。这意味着，生成内容定制、画面真实的视频的门槛进一步降低，对营销、广告、设计领域的用户来说，提供极大便利，却也给不法分子提供了强有力的犯罪工具。

AI诈骗新招：视频换脸与虚假新闻牟利

例如今年的315晚会公布了生成式AI诈骗的案例：某公司职员收到老板的视频电话，在指导下把186万元转出，后来得知视频中的老板是犯罪分子利用AI技术合成。虽然换脸、换声并不是全新技术，但生成式模型的普及，使得此类高科技犯罪不再依赖代码化的算法建模，而是几乎没有技术门槛的人机交互。在更早2023年6月一则“某工业园区发生火灾”的视频在某平台发布，短时间内视频浏览量迅速攀升，给当地造成不小的影响。然而，当地警方经过核实，发现视频内容完全为虚假信息。嫌疑人汤某利用生成式大模型生成“视频脚本”和相关视频素材，最后一键生成有音乐、字幕的虚假视频。通过散布虚假新闻博取关注，从而获利。
这两个案例概括了多模态大模型用于犯罪的两个牟利点：
一、生成特定个人的视频，通过假冒诈骗或造谣勒索的方式牟取经济利益；
二、生成特定主题、画面感真实的虚假视频，作为谣言传播，牟取经济利益或政治利益。

打击AI犯罪：技术、立法、道德三重奏

此类犯罪形式无论对于个人财产还是社会稳定，都危害极大，应引起高度重视。对于新兴技术造成的新犯罪形式，零点有数建议“技术手段控制、国家层面立法、行业道德约束”多管齐下的预防方式，具体建议如下：

一、技术手段控制，规范多模态大模型生成结果

督促大模型供应商利用模型技术手段，在大模型输入端与输出端进行内容控制。一是控制前期人机交互时，用户输入的文本。在理解其语义后，应对其是否符合公序良俗进行意图识别，阻止诱导模型生成有害内容。二是在输出端由模型主动嵌入辨识标识，例如植入隐形或显形水印。

二、围绕生成式AI立法

从全球范围看，围绕AI进行立法的进度已逐渐加快。2024年3月13日，欧洲议会通过《人工智能法案》，为全球首部人工智能法案，法案根据AI的功能和影响，明确禁止了8种AI应用类型，但该法案并未单独着墨于生成式AI，而是将其纳入通用AI一起监管。但从应用场景出发禁止特定AI模型，与生成式AI“不设特定应用场景”的优势相冲突，容易产生“道高一尺、魔高一丈”的情况。
我国互联网信息办公室于2023年5月23日通过了《生成式人工智能服务管理暂行办法》。《办法》包含二十四条，内容可归纳为保障隐私、禁止歧视、规范生成内容。具体包含了对训练数据源做出规范，不得侵犯个人隐私；训练、生成时的内容不得出现性别歧视、民族歧视、宗教歧视等；生成内容不得包含虚假信息、不得损害他人形象，要符合公序良俗，同时对生成内容进行标识。从《办法》内容上来看，基本涵盖了前述多模态大模型犯罪的几个牟利点，但《办法》主要针对模型服务提供方进行制约，缺少对于服务使用方的处罚。
事实上，各国的AI法规都未充分考虑生成式大模型中各生态位厂商和普通终端用户的复杂互动关系。建议国家在《办法》基础上进一步细化，主要明确底层大模型供应商、应用场景供应商、普通终端用户在刑事案件中的责任归属与处罚方式。

三、引导建立行业道德，禁止生成特定个人、特定内容的视频

2017年Deepfake项目发布，该项目是提供高度真实的AI换脸技术。在短暂风靡之后，因其在电信诈骗、色情传播领域造成恶劣影响，旋即遭各大视频平台与媒体封杀。之后Deepfake项目在github上下线，因其违反社会道德与公序良俗，遭到AI行业自发性抵制。
对于IT行业，不可忽视行业道德对从业者的约束力量。在立法不够充分的行业早期，国家可约谈龙头企业，以龙头企业牵头形成一种行业道德：多模态大模型不可生成具体到个人的视频、不可生成引发社会舆论的视频。客观来说，多模态大模型需要大量研发力量，其底层模型主要由耳熟能详的几家互联网龙头企业掌握。该行业生态在于：龙头企业“造轮子”，中小企业仅对大模型做微调，然后深入行业做垂直应用。因此从行业管理的抓手来说，以龙头企业出发建立行业道德，软性约束生态圈内的厂家或个人开发者。对于违反行业道德者，不提倡、不集成、不录用，将其“踢”出生态圈，久而久之形成约束行业的共识。