原创:谭婧
没有人想等待,没有人想落伍。
新鲜论文时兴火热,成为大模型发展迅猛的标志之一,人们用“刷论文”这个游荡意味的动词替代另一个颇为严肃的动作,“读论文”。
论文被当作“教材”和“新知识”,在arXiv网站刷论文成为日常。
不止于此,论文读者也从科研人员迅速扩大到投资人、投研、创业者、AI从业者和科技媒体。
那些急切想入行的人“咸欲学死”;
那些没用上大模型的人“怏怏不悦”;
从甲方到乙方,人们把“不甘”写在脸上,有些甚至从“稳重型”变成“饥渴型”,从“观望型”变成“上手型”。
北京西北方向某个国产智能云厂商已将“硬件+业务指标”捆绑标价,成了大模型的报价方式;某外资云厂商的解决方案架构师(Solutions Architect)被甲方“有请做客”,亲身示范:如何部署开源大模型LLaMA。
因开源条款的限制,LLaMA不能商用。甲方不想再等,至少学起来,哪怕“部署”仅仅停留在“示范”环节。
来自美国OpenAI微软谷歌等等机构的论文以其高度的领先性为大家所追捧;开源大模型入场后,便可以在开源模型上做测试做研究,以此来增加对大模型及其全套系统的理解。
我最翘盼之事便是和有亲身经验的科学家深聊,和训练过大模型的科学家深聊。
有幸,我和武汉人工智能研究院(下文简称“武智院”)副院长张家俊博士聊了聊,同时,他也是中国科学院大学的教授。
武智院和中科院自动化所共同研发了“紫东太初”大模型,这背后有多篇论文值得细读。而作为其中多篇高质量论文的作者兼指导老师,张家俊教授也非常适合回答这些问题。
在深入论文之前,我向张家俊博士提的第一个问题是:
“做出和GPT-4竞争的大模型,和发表领域高质量学术论文,这两件事情之间是一种什么关系?”
这既是一个学术问题,也是一个应用问题,而且解释和理解都需要费一番功夫。
他谈到:“在大模型技术领域,论文发表在顶级学术会议或者学术期刊,大多算法实现的性能是在某一个数据集(一般规模较小)上,换成大模型、大算力,大数据,论文思路和设计未必奏效。”
他给我打了一个比方:
我们把这种高质量的论文,看做铁人三项中的一项,游泳或者自行车。又或者说,三项不够,“铁人多项”才够。
“铁人多项”中的每一项都充满挑战,每一篇顶会论文也不会轻易得来。
而GPT4大模型作为史上最智能的AI软件,它是一个复杂系统工程。这就好比,GPT4是由铁人多项运动组成的长途比赛。
大模型要求的核心技术数量多,工程难度大。
他的观点是,大模型并不是靠论文做出来的,但是,也离不开论文。
这些经典论文以及开源大模型的论文和代码,对大模型工程已然非常重要。造出大模型,或者说用工程实践出大模型,这件事情已经无法离开经典论文,极少有人从零开始,从头到尾地跑出来大模型。
人们用论文里的思想,用开源的代码复现,或者再加一些自己的代码,微调之后,最终获得自己的大模型。
他谈道,发表大模型领域的高质量论文,好比在铁人运动某一项专项锻炼,在论文中实验并验证出行之有效的思路。
然而,论文并不能照搬到“造大模型”这件事,而是积累经验,以及增加对大模型复杂工程的理解。
或者,你千辛万苦地发表一篇高质量论文,对你造大模型这件事情的帮助可能是“0”。
从这番比喻,可得知:
哪怕是对大模型有“任何进一步”的理解,都不是一件简单的事情。甚至可以用上“进一寸,有一寸的欢喜”这样的散文式的说法。也许很多耗尽脑力和体力的努力根本没有用,甚至是冤枉路,回头路。
实现复杂工程这件事,既艰难,又残酷。让人又爱又恨的是,论文几乎日日新。
大模型浪潮之下,人们更重视论文时效性,而不是论文权威性。美国康奈尔大学维护的arXiv网站在这个时候显示出独特的意义。
很多经典论文也发表在arXiv网站上,所有人都想加快论文的“问世”速度,arXiv网站包揽了经典与速度,这让其江湖地位无人能比。
这个学术论文网站承担了一种“成果速递”的角色,人们追求“步履如飞”,而不是“稳重安详”。“更快一步”而不是经过学术规范之后的“更完美一步”。
张家俊博士谈到:“同样的做法,武智院的BigTrans这篇论文也是发在arXiv网站上。”
武智院BigTrans:让大型语言模型拥有超过100种语言能力
他强调:“武智院的BigTrans这篇论文并没有追求学术思路(idea)的创新,在当前的形势下,我认为集成创新和应用创新也非常重要。学术期刊在评审论文的标准和大模型工程实践里的创新都有其意义,是两个完全不同的方向。”