大模型日报2024-05-28

大模型日报

 

2024-05-28

 

大模型资讯

 

1. SDAIA的阿拉伯语大模型'ALLaM'在IBM watsonx上全面运行

 

• 摘要: 由沙特数据和人工智能局（SDAIA）开发的开源阿拉伯语大语言模型'ALLaM'现已在IBM的watsonx平台上全面运行。

 

1. AI公司Anthropic揭示大语言模型内在工作机制

 

• 摘要: 昨日，AI初创公司Anthropic发布了一篇论文，详细解释了其成功解读大语言模型内在工作机制的成果，使得生成式AI变得不再那么晦涩难懂。

 

1. 研究表明GPT-4在预测财务增长方面优于人类分析师

 

• 摘要: 最新研究显示，OpenAI的大规模语言模型GPT-4在通过财务报表预测未来收入增长方面表现优于人类分析师。GPT-4已经在某些领域展示了超越人类能力的表现。

 

1. 改进大语言模型有助于更好地与人脑活动对齐

 

• 摘要: 随着生成式人工智能（GenAI）近年来改变了社交互动格局，改进大语言模型（LLMs）可以帮助它们更好地与人脑活动对齐，提升互动效果。

 

1. 大型语言模型在肿瘤学问题上错误率高于人类

 

• 摘要: 一项比较评估测试了五种公开的大型语言模型在2044个肿瘤学问题上的表现，涵盖了该领域的综合主题。结果显示，这些模型的错误率高于人类。

 

1. iOS 18 Siri将通过Ajax LLM获得重大AI升级

 

• 摘要: iOS 18中的Siri将通过Apple的Ajax LLM进行重大AI升级。Apple的多个标准系统组件将迎来重要的AI相关增强，其中包括Safari浏览器。

 

1. 研究显示OpenAI的GPT-4在财务报表分析中表现优于人类，但存在质疑

 

• 摘要: 研究表明，OpenAI的GPT-4大型语言模型在财务报表分析中的准确性优于人类。然而，仍有怀疑者对这一结果持保留态度，认为需要更多证据来证明其可靠性。

 

1. 印尼电信公司Indosat将于7月推出印尼语AI模型

 

• 摘要: 雅加达（ANN/JAKARTA POST）——上市电信公司Indosat Ooredoo Hutchison计划在7月推出一款名为LLM的大型语言模型，该模型将支持印尼语。

 

1. 人工智能新见解：模仿人脑理解语言

 

• 摘要: 生成式人工智能（GenAI）的创新以前所未有的方式改变了社会互动，研究人员通过模仿人脑的方式提升了语言理解能力。

 

1. 微软推出斯瓦希里语AI模型，推动技术包容性

 

• 摘要: 2023年，斯瓦希里语成为唯一被纳入全球40种方言中的撒哈拉以南语言，微软此举旨在弥合技术包容性差距。这标志着斯瓦希里语在科技领域的重要突破，为更多人提供了平等的技术访问机会。

 

大模型产品

 

大模型论文

 

1. 大型语言模型的分类扩展法则

 

• 摘要: 本文介绍了一种系统，通过将语言模型任务转化为判别分类任务，辅助客服应对工作。通过线上线下实验，展示了模型参数消融研究的验证损失和top-K准确率的扩展曲线，并讨论了模型大小、延迟和准确性的权衡。

 

1. 稀疏最大更新参数化：全面训练策略

 

• 摘要: 针对稀疏神经网络存在的挑战，本文提出了SPar方法，确保激活、梯度和权重更新与稀疏度无关，并通过重参数化超参数，降低了调优成本，显著提高了大规模语言模型训练的效果。

 

1. 大型语言模型与引文偏差

 

• 摘要: 研究表明，GPT-4在推荐学术引用时，显示出与人类相似但更加明显的高引用偏差。分析了166篇论文的3066个引用，发现其内化了引文模式，可能放大现有偏见。

 

1. LM4LV：用于低阶视觉任务的大型语言模型

 

• 摘要: 本研究提出了LM4LV框架，使得冻结的大型语言模型（LLM）能够解决多种低阶视觉任务，而无需多模态数据或先验知识。这一发现为低阶视觉领域带来了新的视角，并有助于深入理解大型语言模型（LLM）的机制。

 

1. 优化OpenAPI代码补全的大型语言模型

 

• 摘要: 研究评估了GitHub Copilot在OpenAPI代码补全的表现，并提出了基于Meta的Code Llama模型的优化方案。通过实验，优化后的模型在正确性上比Copilot提高了55.2%，且参数数量少25倍。

 

1. 疾病信息引导的视觉语言模型适应

 

• 摘要: 本文研究了预训练视觉语言模型在医学图像分析中的迁移学习潜力。提出了一种新颖的疾病原型学习框架，通过疾病信息化的上下文提示，使模型即使在数据有限的情况下也能有效、高效地把握新疾病概念。

 

1. 几何复杂度与迁移学习中神经坍塌

 

• 摘要: 本文探讨了模型表示的几何复杂度与预训练时损失平面的平坦性和神经坍塌之间的关系。研究表明，影响预训练网络几何复杂度的机制也会影响神经坍塌，并对下游任务特别是小样本设置的性能产生积极影响。

 

1. 面向提示的自适应视觉令牌适配器

 

• 摘要: 为了解决视觉与语言模态间的差异，本文提出了一种新型的面向提示的适配器。该适配器能够根据提示的具体焦点动态嵌入视觉输入，通过全局和局部文本特征捕捉与提示最相关的视觉线索，显著提升了大型语言模型理解和解释视觉内容的能力。

 

1. VDGD: 缓解LVLM认知提示幻觉

 

• 摘要: 研究了大型视觉-语言模型(LVLMs)在处理认知提示时的幻觉问题，发现了幻觉产生的新见解，并提出了一种无需训练的解决方案VDGD，通过图像描述加前缀和KL散度采样来减少幻觉，提高了LVLMs在多个基准上的表现。

 

1. 多模态大模型增强零样本图像分类

 

• 摘要: 本文提出了一种简单有效的零样本图像分类方法，利用多模态大型语言模型生成文本表示，通过线性分类器实现分类，平均准确率提高4.1个百分点。

 

大模型开源项目

 

1. HITsz-TMG：多模态专家混合模型

 

• 摘要: HITsz-TMG项目包含了“Uni-MoE: Scaling Unified Multimodal Models with Mixture of Experts”相关代码，使用Python语言编写，致力于通过专家混合模型扩展统一多模态模型的规模和能力。

 

1. THU-MIG推出YOLOv10实时检测

 

• 摘要: 清华大学移动智能体实验室（THU-MIG）开发的YOLOv10项目，是一款基于Python的实时端到端目标检测系统，旨在提高目标检测的速度与准确性。

 

1. khoj-ai：AI私人助理大脑

 

• 摘要: khoj-ai项目提供AI辅助查询服务，支持在线或个人笔记搜索。可使用基础模型或私有本地LLMs，支持自托管或云端使用，可通过多种客户端访问，基于Python开发。

 

1. 企业轻松使用Agentic RAG的ragapp

 

• 摘要: ragapp是一个流行的AI项目，专为企业打造，让用户能够轻松地在企业环境中使用Agentic RAG技术。该项目使用TypeScript编写，便于整合与开发。

 

1. Dataherald：自然语言互动SQL数据库

 

• 摘要: Dataherald是一个AI项目，能够让用户通过自然语言与SQL数据库进行交互。该项目利用大型语言模型（LLMs），用Python编写，简化数据库查询过程。

 

1. binary-husky：多功能语言模型接口

 

• 摘要: binary-husky项目，旨在为GPT/GLM等大型语言模型提供便捷的交互界面，优化论文处理体验。具备模块化设计，支持自定义功能和多语言项目解析，以及论文翻译与总结等特色服务。

 

1. AUTOMATIC1111：稳定扩散AI的Web界面

 

• 摘要: AUTOMATIC1111是一个流行的GitHub AI项目，提供了一个基于Python的Web用户界面，用于操作和利用稳定扩散模型，以生成和修改图像。

 

1. Bisheng: 开源LLM DevOps平台

 

• 摘要: Bisheng是一个用Python编写的开源LLM DevOps平台，旨在开发下一代AI应用。该平台结合了最新的机器学习和大数据技术，为AI项目提供强大的开发和运维支持。

 

1. OpenDevin: 简化代码，创造更多

 

• 摘要: OpenDevin是一个用Python编写的开源AI项目，旨在让开发者通过减少编码工作量来提高生产效率和创造力。

 

1. 普林斯顿NLP推出SWE-agent项目

 

• 摘要: 普林斯顿NLP的SWE-agent项目利用GPT-4等语言模型自动修复GitHub问题。在SWE-bench评测集上解决了12.29%的错误，运行时间仅需1.5分钟。该项目使用Python语言编写