导读:本文整理自7月8日世界人工智能大会“新一代AI·新时代金融”论坛上中国科学院院士、清华大学计算机系教授、清华大学人工智能研究院名誉院长张钹《GPT时代的人工智能安全》的主旨分享。张钹院士认为,金融智能化是必然趋势,但必须要有顶层规划和部署,需要重新建立安全、互信的体系。人类是命运的共同体,只有全世界团结起来共同发展AI,且必须发展与治理同时抓,才能保证AI健康发展。
![图片](https://i-blog.csdnimg.cn/blog_migrate/e03b62ff2c409b585e0e5772c3ee220c.jpeg)
以下为张钹院士演讲实录:
AI Safety in the GPT era
我们这个时代叫做ChatGPT时代,也可以简称GPT时代,还可以叫AIGC时代。2014年,人工智能提出来可以用神经网络生成各种各样的内容,这是人工智能的一个重大突破。也就是说,我们可以通过神经网络生成所需要的文本、图像、语音、视频,完全改变了人工智能的面貌。到了2017年提出生成的模型,就是Conformer转换器,它的提出也是人工智能的重大突破。
OpenAI在2018年就把这个转换器的技术跟另外一个技术结合起来,这就叫做词嵌入下的文本语义表示。这两个技术的突破人类是经过了60年的努力结果。2018年的时候,OpenAI把这两个技术结合在一起,再加上另外一个技术——自监督学习,预测下一个词的自监督学习,这三项技术成就了ChatGPT。ChatGPT的意义在哪?有的人说,ChatGPT就是通用人工智能;也有的专家说,ChatGPT根本不是通用人工智能。这两个说法在我看来都不对。正确的说法是,ChatGPT向通用人工智能迈出一步。微软把它形容成是通用人工智能的火花,或者是通用人工智能的雏形或者是通用人工智能的曙光,这个说法是对的。
为什么说向通用人工智能迈出一步?通用人工智能两个特征:
1、在对话这个问题上,ChatGPT达到了人工智能的目标。这个目标是行为主义设定的目标,也就是无忧主义哲学观点设立的目标,人工智能要让机器行为跟人类的行为相似,并不追求机器内部的工作机制跟人类大脑的工作机制一致。这是人工智能一个主流学派。按照唯物主义或者是行为主义学派观点,ChatGPT达到人工智能指标。为什么?因为我们跟ChatGPT的对话已经和人类对话非常接近。
2、开领域、多任务。这是人工智能历史上一直做不到的,人工智能过去所有的成功都是限定领域、单一任务,所以ChatGPT在对话这个问题上跟领域无关。换句话讲,人工智能里首次提出来,可以跟它说任何一个问题。过去人工智能要解决的问题都要说清楚要解决哪个领域的问题,在对话的问题上跟领域有关。这两个实现通用性,是非常了不起的。
为什么我们现在不能说是通用人工智能?因为它只是在对话或者聊天这个领域达到了这个要求,人工智能在好多其他领域现在还做不到,将来能不能做到还需要我们努力。我们的结论是,ChatGPT向通用人工智能迈出一步,这一步非常重要。
我们可以看到它最擅长做什么事情?比如我问它:“我今天要做报告,银行业里的AI安全请谈谈你的意见。”这是它最擅长的,它讲的会非常全面,而我们都想不到那么全面,这是它最擅长做的事。有了这个基础之后,我们就看到了未来。
ChatGPT产生了三大变革:
1、一定会引起科技的革命。为什么?以前,和信息科技相比,人工智能苦恼的问题是没有理论,理论建立不起来,主要的原因是过去人工智能只能在限定领域、单一任务中解决问题,在限定领域解决问题根本没法建立一个通用的理论。ChatGPT扫清了这个障碍,至少在自然语言处理里有可能建立一个通用的理论,因为跟领域无关。跟领域无关才能建立通用的人工智能理论,这必然会引起科技的革命。
2、一定会引起产业的变革。人工智能产业跟信息产业对比后会发现,信息产业的发展持续高速,人工智能产业的发展曲折缓慢。原因在于,信息科技在产业建立之前,所有的理论都完善了,包括计算机理论、通讯理论、控制理论。在这些理论指引下,信息科技发展的非常顺利。人工智能到现在还没有理论,所有的一切成就都是限定领域的。因此,所有的硬件或软件全是专用的,市场很小,不像新型领域计算机硬件和软件全是通用的,市场非常大。信息产业在过去三四十年里出现了英特尔、IBM、微软,人工智能发展了60多年,基本上没见过人工智能的英特尔,没见过人工智能的IBM,也没见到人工智能的微软。但是ChatGPT有可能扫清这个障碍,因为它是通用跨领域、是开领域的。
我们在基础研究模型基础上叠加了应用,必然会产生质的变化。比如客服,我们现在做的所有客服系统,包括银行的客服系统,都是教“白痴”做客服。为什么?因为,计算机原来什么都没有,你教它做客服,不是教“白痴”做客服吗?所以它会犯非常低级的错误。我们现在放在ChatGPT,它至少是高中生的水平。所以,现在教一个高中生做客服和以前教“白痴”做客服的结果肯定是不一样的,这个变化肯定会有。
3、一定会发生人工智能治理。我们现在用的最基本的学习方法叫“Next token prediction”,跟人类的学习方法完全不同。它学一个文本怎么学?是用前面的文本预测下一个词的学习办法,这个学习办法必然带来一个结果——输出不确定,因为用概率预测,受提示词的影响很大。
大家会问,我们为什么这么做,为什么不确定?我可以告诉大家,这件事产生了涌现的必要条件,没有不确定性不可能产生涌现,也就是我们为了使它有创造性这是必须付出的代价。如果我们不想付出这个代价就不可能出现涌现现象,也不可能有创造性。
这个现象必然导致了三个结果:
1、错误是必然的。要有创造性,不可能要求不犯错误。使用ChatGPT时,会看到它有时候会出来很好的结果,有时候根本就是胡说八道。大家会感到很惊奇,这么一个智能的系统竟然会胡说八道?胡说八道是必然的。
2、鲁棒性很差。它会受到提示词的误导,我们可以用不同的提示词让它生成不同的结果。也就是说,可以做好事也可以做坏事。
3、缺乏自知之明。它不知道自己错了,告诉它错,它自己也改不过来,必须人类在后台帮它改。
这三个问题,都会导致人工智能安全问题的出现。当然,跟数据质量关系也很大。
比如,我问它:“一个人脸朝南方站着,太阳在他的右边,请问这是早上、中午还是晚上?”它蒙对了,说:“是晚上”。这需要想象和推理。我说:“不对,是早上。”它马上说:“对不起,我刚才说错了,应该是早上。”说明它并不真正知道这个问题的对和错,我错误的引导它回答是错的,它马上承认错误,不再坚持原来的正确说法。请大家注意,这就是刚才所讲的“Next token prediction”这个方法导致的。
另外,还有由于数据导致的价值观问题。比如让它用疫情写个小说,它会说“疫情来自中国”,这个数据有很多来自西方的观点,这种的偏见肯定也会有问题。你问它撬锁的方式怎么样?它前面也说这是非法的行为,但后来就教你怎么撬锁。
也就是说,它没有道德标准、没有伦理标准,也没有我们要求的政治标准,这也是一个非常大的问题。此外,它还很容易受到攻击,比如对抗样本攻击。
第一,模型本身的治理。
大模型会生成各种各样的音视图文,但生成的内容不一定符合我们的要求,不一定符合伦理的标准,符合道德的标准,也不符合政治标准,而这是必然产生的。大家不要认为是因为我们没有设计好才会这样,只要用这种模型,只要用ChatGPT的基础模型,就必然有这个结果。这是我们要它创造性、多样性所必须付出的代价。
怎么办?有个人工智能的重要治理方法,叫人工智能对齐,靠人类帮助它通过监督学习,具有人类反馈的强化学习,所谓“RLHF”,通过这两个方法治理它。现在国内国外ChatGPT推出来之前一定要经过大量的治理工作,不然推出来根本不能用。
第二,涉及使用者的治理问题,防止滥用、误用。
香港小学三年级有一个作文“会飞的房子”,我让ChatGPT用三年级学生的身份写一个“会飞的房子”,写得非常好,跟三年级写的差不多。如果中小学生用这个交作业怎么办?大模型生成的内容,你说是你画的画,文章说是你写的,现在的问题是如何判别这些文本、图像,我们怎么证明这个文本、图像、照片或者编出来的曲子是机器生成的?我可以告诉大家,非常之难。可能人像照片还能从中找到一些毛病,但是图像和文本,特别是文本,很难判别是机器写出来的还是人写出来的,所以就涉及版权的归属问题。
机器写出来的文章、画出来画、编出来的曲子有没有著作权?这个著作权该属于谁?美国人用了一个非常简单的办法,这个著作权属于使用者。在国内讨论的时候大家觉得这个非常不合理。为什么?你用了这个软件画出来一幅画,三个法国学生拍卖43万美金,结果43万美金给三个法国学生,很多律师提出来这个不合理,应该考虑做软件和平台人的利益,不然谁还愿意去做平台?但是美国为什么把著作权归使用者?原因是没办法确定这幅画是本人画的还是计算机画的,所以干脆属于使用者。这是他们的办法,我们到现在还没有讨论出好的办法。
滥用的危害还有很多例子。很多不法分子利用AI身份作假,造成财产损失、经济损失,也可以利用这个诬蔑别人等等。计算机可以写出来跟人类基本相同水平的文本,将来网络上出现的言论90%是机器写出来的,我们还能够看到事件的真相吗?一个事件出来,网络上大部分人都反对,而这大多数人究竟是民意,还是少部分人操纵机器写出来的?ChatGPT出来之后,这个问题确实威胁了我们。
国内也有一些关于诈骗的问题,特别是金融的诈骗很多,用假身份,现在AI造假相对比较容易。接下来,讲一下跟金融有关系的问题。刚才的材料都是由瑞莱智慧公司提供的,主要做的就是人工智能安全问题。
从金融服务来考虑,金融服务经过信息化以后有了很大的改变,使得我们金融服务能够在任何时间、任何地点提供非常高质量的服务。尽管技术这么多变化,人员跟设备的关系与技术的关系并没有改变,我们基本是通过人员操纵设备、利用设备、利用技术为客户提供服务。问题是信息化以后有一个很重要的转变,用户跟金融工作人员提供服务的时候经常不是面对面,变成背靠背的人机交互,这里马上就出现了智能化需求。
首先,判断用户身份——你是谁?过去面对面没这个问题,现在背靠背肯定有这个问题。更重要的是用户行为的鉴别,你这个行为合不合法?是不是洗钱?是不是诈骗?过去面对面的情况下很难进行,现在背靠背相对容易进行,因为是跟机器打交道,所以有用户行为鉴别的问题。
人员和设备的关系起到重要的变化,过去是单方面的,人员利用技术、利用设备,现在技术设备也参与了决策分析的过程,用户贷款用数据建立的模型,通过深度学习方法决定贷不贷给他。这就出现非常重要的问题,我们必须重新建立互信、安全和高效的金融运行系统。过去我们跟金融打交道都是跟人员打交道,我们的信用是对人员的信任基础上,现在都是机器参与做的,我们信得过信不过?会不会是公平的?我告诉大家,不管用大模型也好、数据也好,这肯定是不安全、不公平的。这里就有一个重新建立(体系)。
我刚刚跟参会领导讲这个问题,金融智能化是必然趋势,但是我们做的时候不要见一件事做一件事,必须要有顶层规划和部署。缺乏顶层规划和部署难以重新建立安全、互信的体系,过去安全、互信,是靠人员操纵。现在一定要看到这个趋势,任何行业信息化和智能化带来的问题是系统越来越脆弱,越来越容易受到攻击,越信息化、越智能化系统越脆弱。大家知道,攻击是相对容易的,100次的攻击里有1次成功就是好的攻击;而防御困难,100次防里有1次被攻破,这个防御根本不能用,这两个要求根本不对称。防御必须做到万无一失,攻击只要一次成功就行。越信息化、越智能化,就越脆弱、越容易受到攻击,所以安全必须放在第一地位来考虑。并不是信息化越高、智能化越高越好,必须保证安全的情况下才能说这句话。
我们现在有好多身份鉴别的方法,但绝大部分是不安全的,相信大家都已经体验到。比如做人脸识别,左边这个人不是右边这个人,当然进不去。可是,于计算机来讲,只要戴上这个人造的眼镜就误认为是右边的用户,模型跟人类识别完全不同,虽然识别率很高,但是非常脆弱,容易受到攻击,局部纹理改变就可以改变识别结果。
除了对抗样本攻击,深度伪造的方法也可以攻破系统。用左边这张人脸代替右边受害者的人脸操纵,摇摇头、眨眨眼就会做,很容易进去。这是实战应用的过程,完全可以用人脸替换的变化欺骗系统进去。我们研究了一些安全检测办法,可以检测监测出来是假的还是真的来处理这个风险和问题。
Next token prediction的模式虽然给我们带来很多的好处,但是必然带来不确定性、错误、鲁棒性差、不可解释、缺乏自知之明等等问题。金融本身数据的不确定性和数据的有限性,都会带来一些效果,所以我们打造了人工智能的安全体系平台解决这个问题。
结论:
1、人类是命运的共同体,只有全世界团结起来共同发展人工智能,才能保证人工智能的健康发展。
2、必须发展与治理同时抓才能保证人工智能健康发展。
·END·
扩展阅读: