揭示大型语言模型的力量、挑战和影响
随着数据耗尽的迫在眉睫,以及在不增加训练数据量的情况下扩展模型大小的趋势持续存在,显然需要创新方法来重新考虑模型大小和训练令牌之间的平衡。最初,仅编码器和编码器-解码器模型的性能优于仅解码器模型,但 GPT-3 的引入改变了一切。最近的一项研究介绍了当代法学硕士的演变轨迹,描绘了近年来语言模型发展的进展,并强调了该领域一些最著名的模型。然而,至关重要的是要始终意识到这些模型中的不平等和公平问题,以及关于各种应用的 FM 扩展特性以及权力集中在拥有更好资源来生产产品的组织中的道德、政治和社会问题。
复制链接