Datawhale干货
最新:AI安全问题,编辑:新智元
【导读】为了科学界的未来,加入开源LLM阵营吧!
免费的ChatGPT用的是很爽,但这种闭源的语言模型最大的缺点就是不开源,外界根本无法了解背后的训练数据以及是否会泄露用户隐私等问题,也引发了后续工业界、学术界联合开源了LLaMA等一系列羊驼模型。
最近Nature世界观栏目刊登了一篇文章,纽约大学政治与数据科学教授Arthur Spirling呼吁大家更多地使用开源模型,实验结果可复现,也符合学术伦理。
重点是,万一哪天OpenAI不爽了,关闭了语言模型接口,或是靠封闭垄断涨价的话,那用户只能无奈地说一句,「终究是学术败给了资本」。
文章作者Arthur Spirling将于今年7月加入普林斯顿大学教授政治学,主要研究方向是政治方法论和立法行为,具体为文本数据(text-as-data)、自然语言处理、贝叶斯统计、机器学习、项目反应理论和广义线性模型在政治科学中的应用。
研究人员应该避免商用模型的诱惑,共同开发透明的大型语言模型,以确保可重复性。
拥抱开源,拒绝垄断
似乎每天都有一个全新的大型语言模型(LLM)推出,其创建者和学术界相关人士每次都会对新模型如何与人类进行流畅交流的能力慷慨陈词,比如可以帮用户改代码,写推荐信,给文章写摘要等等。
作为一名正在使用并教授如何使用这些模型的政治和数据科学家,我认为学者们应该保持警惕,因为目前最受大众追捧的语言模型仍然是私有且封闭的,即由公司运营,他们不会披露基本模型的具体信息,只会独立地检查或验证模型的能力,所以研究人员和公众并不知道模型的训练使用了哪些文件。
急于将语言模型纳入自己的研究流程可能会出问题,可能会威胁到来之不易的「研究伦理」和「结果复现性」方面的相关进展。
不光不能依赖商用模型,研究人员还要通力合作开发透明且不依赖于某个具体公司利益的开源大型语言模型。
虽然商用模型非常方便,可以开箱即用,但投资开源语言模型是历史的趋势,既要想办法推进开发,也要让模型应用于未来的研究中。
我乐观地估计,语言模型工具的未来一定是开源的,类似于开源统计软件的发展历史,刚开始商用的统计软件很流行,但目前基本所有社区都在使用R或Python等开源平台。
举个例子,去年7月发布的开源语言模型BLOOM,其开发团队Hugging Face是一家总部位于纽约的人工智能公司,携手一千多名志愿者和研究人员共同打造,部分研发资金由法国政府提供;其他团队也在努力开源大型语言模型。
我认为类似这样的开源项目都是伟大的,但我们还需要更多的合作,需要汇集国际资源和专业知识。
开源大型语言模型的团队通常不像大公司那样资金充足,并且开发团队还需要持续运营以跟踪领域内的最新进展:AI领域的发展实在是太快了,甚至大部分语言模型在推出几周或几个月以后就会过时。
所以参与到开源中的学者越多,最终开源模型的效果也会更好。
留言🤔️:你怎么看?
参考资料:
https://www.nature.com/articles/d41586-023-01295-4
整理不易,点赞三连↓