大模型日报2024-04-25

大模型日报

 

2024-04-25

 

大模型资讯

 

1. 苹果发布开源高效语言模型系列，助力AI发展

 

• 摘要: 苹果公司在即将于六月的WWDC发布iOS 18前夕，推出了一系列开源的大型语言模型。这个被命名为OpenELM的项目，旨在推动人工智能技术的发展。苹果对此进行了详细描述，表明其对开放式创新的承诺。

 

1. Phi-3小型语言模型：体积小能力大

 

• 摘要: 最新消息显示，一系列的小型语言模型（SLMs）名为Phi-3，它们虽体积较小、训练数据有限，但却拥有与大型语言模型（LLMs）相似的功能。这些模型展示了在数据处理和功能实现上的巨大潜力。

 

1. 增强型非幻觉大型语言模型作为医学信息管理者

 

• 摘要: 《npj Digital Medicine》一文报道了增强型非幻觉大型语言模型在医学信息管理中的应用。这类模型能够可靠地处理和相互关联医疗信息，为数字化医疗转型提供了关键基础。其能力在整合和精确传递医学知识方面显示出巨大潜力，对于提高医疗服务质量和效率至关重要。

 

1. 微软推出迄今最小AI模型Phi-3 Mini

 

• 摘要: 微软最新发布了其最小的AI模型Phi-3 Mini，这是微软计划推出的三款小型AI模型中的第一个。这些模型虽小，但功能强大，能够在较低的计算资源下完成多项AI任务，展现出微软在AI领域的持续创新和优化能力。

 

1. Snowflake推出企业级大型语言模型Arctic

 

• 摘要: 数据云公司Snowflake（纽约证券交易所代码：SNOW）今日宣布推出Snowflake Arctic，这是一款最新的大型语言模型（LLM）。Arctic以其开放性和企业级的特点，旨在为用户提供先进的语言处理能力。

 

1. 运用大型语言模型优化肝病临床指南解读

 

• 摘要: 大型语言模型（LLMs）在医疗保健领域的应用前景广阔，尤其在向医疗提供者提供正确信息方面具有潜在的变革性作用。这些模型能够增强信息检索能力，从而优化肝病临床指南的解读和应用，提高医疗服务的质量和效率。

 

1. 微软Phi-3展示小型本地AI语言模型的惊人能力

 

• 摘要: 微软最新推出的Phi-3语言模型，虽然只有38亿参数，却可能与GPT-3.5相匹敌。这标志着“小型语言模型”时代的到来，Phi-3的出现证明即便是规模较小的AI语言模型也能展现出强大的性能和潜力。

 

1. 微软推出Phi-3系列紧凑型语言模型

 

• 摘要: 微软最近宣布了Phi-3系列紧凑型语言模型（SLMs）。这些模型被宣传为目前最具能力和性价比的小型语言模型。微软的这一系列开放式小型语言模型旨在提供更高效的语言处理能力，同时降低成本和计算资源的使用。

 

1. 微型AI模型Phi-3助力商业应用

 

• 摘要: 微软最近发布的Phi-3-mini模型表明，在商业应用领域，AI模型不必追求庞大复杂。这种小型AI模型由于计算效率高、部署灵活、成本更低，正在成为商业界的新宠。它们证明了在特定场景下，小巧精悍的AI模型更能满足企业的实际需求。

 

1. Snowflake推出Arctic：最开放的企业级大型语言模型

 

• 摘要: 2024年4月24日，总部位于无固定地点的Snowflake公司在蒙大拿州博兹曼宣布推出Arctic，这是一款宣称为最开放的企业级大型语言模型。Arctic旨在为企业用户提供高级别的语言处理能力，同时保持开放性，以便更好地集成进各种业务场景。

 

大模型产品

 

1. Ayraa企业搜索AI新体验

 

• 摘要: Ayraa推出的Insights工具为企业搜索带来新境界。用户能够查询工作洞见，而非仅是摘要，涵盖工作任务、成就回顾、重要Slack对话线索，甚至统计会议时间等多种功能。

 

1. LangWatch：优化你的大型语言模型

 

• 摘要: LangWatch是一个开源平台，旨在帮助用户理解、衡量并提升其大型语言模型(LLMs)的性能。它还能减少模型风险，如防止模型被“越狱”，避免敏感数据泄露和幻觉现象。

 

1. Neurelo：数据库即服务API转换

 

• 摘要: Neurelo平台将MongoDB、Postgres和MySQL数据库转化为即时的AI驱动REST和GraphQL API，提供GitSchema、可观测性等功能，简化数据库操作复杂性，让开发者专注于代码编写。

 

1. MarketerGrad：AI匹配顶尖兼职营销人才

 

• 摘要: MarketerGrad由Pangea推出，构建了一个经过审核的顶级营销和设计人才网络。利用人工智能技术，能够即时推荐相关的营销专才，让用户能在几秒内开始浏览专业人士的简介。

 

1. SecBrain AI：用AI记录并记忆一切

 

• 摘要: SecBrain AI是一款AI驱动的语音记录应用，能够轻松捕捉想法，并将录音转化为带标题和标签的优化文本，便于搜索。体验其神奇的增强生产力功能。

 

1. bentolingo：日常AI语言学习便当

 

• 摘要: bentolingo是您的AI语言学习助手，提供每日定制化练习。告别选择困难，系统性地训练六项语言技能。目前支持英语和西班牙语，GPT AI提供反馈。

 

1. Press Ranger：AI加速媒体宣传工具

 

• 摘要: Press Ranger是一款AI驱动的公关工具，简化获取媒体报道的过程。它包含超过50万记者和出版商的数据库，能自动识别网络上的宣传需求，并使用AI工具创建媒体列表及执行外联任务。

 

大模型论文

 

1. 改进英-乌机器翻译的数据打印设置

 

• 摘要: 为了构建大型乌克兰语言模型，本研究通过有监督微调与噪声并行数据集以及k折困惑度筛选，开发了一种高质量的翻译系统。新模型Dragoman在FLORES测试集上超越了先前的最佳模型。

 

1. 基于用户编辑学习LLM代理偏好

 

• 摘要: 研究了通过用户对语言代理输出的编辑进行交互式学习。提出了一种学习框架PRELUDE，通过历史编辑数据推断用户的隐性偏好，并据此定义促进未来响应生成的提示策略。CIPHER算法通过大型语言模型推断上下文中的用户偏好，并在未来检索历史中k个最接近的上下文，形成聚合偏好以生成响应。

 

1. XFT：提升代码指令调优性能

 

• 摘要: 本研究提出XFT训练方案，通过合并升级的专家混合模型（MoE），显著提升代码大型语言模型（LLMs）的指令调优性能。XFT通过共享专家机制和新颖的路由权重归一化策略，优化稀疏升级过程，并通过可学习的模型合并机制，实现了与升级MoE模型相当的性能，同时只需密集模型的计算资源。

 

1. 利用LLM提升自动程序修复

 

• 摘要: 本研究探讨了在大型语言模型（LLM）时代，利用模型输出的熵来提高自动程序修复（APR）的效率和准确性。提出了一种新方法，通过结合LLM的熵和现有APR工具，增强故障定位、补丁生成和排名，显著提升了APR性能。

 

1. 逆向图形学与大型语言模型

 

• 摘要: 本文提出了一个基于大型语言模型的逆向图形框架IG-LLM，旨在无图像监督下通过下一标记预测来解决逆向图形问题，提升跨域泛化能力，并将开放代码和数据。

 

1. 文本提示引导的抓取合成

 

• 摘要: 本研究提出了一种新的抓取合成方法Text2Grasp，通过文本提示指导物体抓取部位，采用文本引导扩散模型和接触优化过程，提高了抓取控制的精确度和多样性。

 

1. GPT-4V在气象图像分析与预报的潜力

 

• 摘要: 研究评估了OpenAI的GPT-4V在解读气象图表及以多语言传达天气风险的能力。结果显示其在生成严重天气展望方面与人类预测相符，但中英文翻译存在直译问题，需谨慎应用并加强人工监督。

 

1. MixLoRA：增强大型语言模型微调

 

• 摘要: 本文提出MixLoRA，一种基于LoRA的稀疏MoE模型，可在单个消费级GPU上实现资源高效的微调，降低内存消耗41%，减少训练延迟17%。

 

1. FASTTRACK: 高效准确的事实追踪

 

• 摘要: 本文提出FASTTRACK方法，利用大型语言模型验证查询的支持性证据，并对训练数据进行聚类，以提高事实追踪的准确性和效率。实验表明，FASTTRACK在F1得分上比现有方法提高了100%，速度提升了33倍。

 

1. 训练模型模拟学生误解的副作用

 

• 摘要: 研究发现，训练大型语言模型（LLMs）模拟学生误解时，会牺牲模型的事实完整性和推理能力。通过在训练中使用“幻觉标记”技术，虽有所改善，但仍未恢复到基线性能，表明该领域需要进一步研究。

 

大模型开源项目

 

1. CrazyBoyM: Llama3中文资源聚合

 

• 摘要: CrazyBoyM项目是Llama3的中文仓库，包含各种微调、魔改的有趣权重，及其训练、推理、部署的教程视频和文档，全部使用Python语言编写。

 

1. ntdevlabs：精简版Windows 11构建脚本

 

• 摘要: ntdevlabs项目提供了一系列PowerShell脚本，用于创建精简化的Windows 11系统镜像。这些脚本能够帮助用户定制并减小Windows系统的体积，提高系统效率。

 

1. hiyouga：百余LLMs高效微调

 

• 摘要: hiyouga项目，旨在统一高效微调超过一百种大型语言模型(LLMs)的过程。该项目使用Python语言编写，便于AI开发者进行模型优化。

 

1. Nomic-AI：开源大型语言模型

 

• 摘要: Nomic-AI项目，名为gpt4all，旨在实现开源大型语言模型（LLMs）在任何地方的运行能力。该项目使用C++语言编写，便于开发者在不同平台上部署和使用AI模型。

 

1. PhidataHQ: 增强LLMs记忆与知识工具

 

• 摘要: PhidataHQ是一个用Python编写的开源项目，旨在为大型语言模型（LLMs）提供内存增强、知识管理和辅助工具，以优化其性能和应用效果。

 

1. 开源中文大语言模型整理项目

 

• 摘要: 该项目旨在整理开源的中文大语言模型，重点是规模较小、可私有部署且成本低的模型。内容包含底座模型、垂直领域微调、应用实例、数据集和教程等。

 

1. langgenius: 开源LLM应用开发平台

 

• 摘要: langgenius是一个开源的大型语言模型(LLM)应用开发平台，提供AI工作流、RAG管道、智能代理等功能，支持从原型快速转向生产。使用TypeScript编写。

 

1. Open-WebUI：友好的LLMs Web界面

 

• 摘要: Open-WebUI是一个使用Svelte语言编写的项目，旨在为大型语言模型（LLMs）提供易于使用的Web用户界面，以前称为Ollama WebUI。

 

1. CrewAI: 角色扮演AI代理协作框架

 

• 摘要: CrewAI是一个用Python编写的框架，旨在协调角色扮演的自主AI代理。通过促进合作智能，它能让代理高效协作，共同解决复杂任务。

 

1. ollama：启用大型语言模型

 

• 摘要: ollama项目，用Go语言编写，帮助用户快速启动和运行Llama 3、Mistral、Gemma等大型语言模型。