2023年AI智能体最新研究进展:
-
语言模型的进步:微软研究院介绍了Retentive Networks(RetNet),这是一种新的语言模型架构,提供了对传统Transformer架构的一种替代。RetNet在训练并行性和推理效率方面取得了显著进步。此外,微软还提出了1位变换器架构BitNet,以及2.7亿参数的Phi-2小型语言模型,后者在推理和语言理解方面表现出色【https://www.microsoft.com/en-us/research/blog/research-at-microsoft-2023-a-year-of-groundbreaking-ai-advances-and-discoveries/】。
-
多模态AI和机器人技术:微软的Composable Diffusion(CoDi)模型能够处理文本、音频和图像等多种模态的输入,产生如视频和同步音频等多模态输出。谷歌也在这一领域取得了进展,他们结合了语言、视觉和机器人控制模型,开发了多模态机器人模型,如PaLM-E和Robotic Transformer 2(RT-2)【https://www.microsoft.com/en-us/research/blog/research-at-microsoft-2023-a-year-of-groundbreaking-ai-advances-and-discoveries/】【https://blog.research.google/2023/12/2023-year-of-groundbreaking-advances-in.html】。
-
科学发现和行业应用:微软正在使用AI加速科学探索,比如提高季节性天气预报的准确性,设计新的治疗用蛋白质。他们还推出了MatterGen模型,用于生成具有期望特性的新材料,这可能在可再生能源和药物开发等领域产生重大影响。谷歌的研究也在提高全球超过10亿用户的路线建议方面显示出优势【https://www.microsoft.com/en-us/research/blog/research-at-microsoft-2023-a-year-of-groundbreaking-ai-advances-and-discoveries/】【https://blog.research.google/2023/12/2023-year-of-groundbreaking-advances-in.html】。