2024年5月份大模型产研关键事件

5月份大模型等开源进展

关于一个端侧多模态模型，可以用来做0CR等。Mini-InternVL 1.5: A Powerful Pocket Multimodal Model with 8% Parameters for 80% Performance

关于代码大模型进展。Mistral AI发布支持80多种编程语言的模型Codestral，22B参数，32k上下文https://huggingface.co/mistralai/Codestral-22B-v0.1

关于语音专业大模型进展。ChatTTS，支持中英双语混合输出，中文支持友好，适用于多种应用场景:https://github.com/2noise/ChatTTS, https://2noise.com/

大模型用来做文件管理。LlamaFS，自动整理电脑文件，原理在于自动重命名和组织各类型文件:http://devpost.com/software/llamafs, https://github.com/iyaja/llama-fs

关于音乐领域生成大模型进展。MusicGPT，允许在任何平台上高效本地运行最新的音乐生成A1模型，如Meta的 Music模型:GitHub - gabotechs/MusicGPT: Generate music based on natural language prompts using LLMs running locally

关于大模型产业进展。Suno v3.5版本提升了音乐生成的长度至4分钟，并优化了歌曲结构cohere发布Aya 23模型，支持23种语言，支持中文，具有80亿和350亿两种参数规模https://huggingface.co/CohereForAl/aya-23-35B,https://huggingface.co/CohereForAl/aya-23-8B

关于RAG进展。QAnything1.4.1版本中，引入文档解析，可以跟进。https://github.com/netease-youdao/QAnything/releases/tag/v1.4.1

三六零宣布开源两款大模型360Zhina0-search和360Zhinao-1.8B-Reranking，两款模型聚焦于提升长文本检索效果，在RAG术的检索、排序阶段进行模型优化，并发布techreport，https://arxiv.org/abs/2405.13386.https://arxiv.org/pdf/2405.13386

基于Facebook的fasttext训练模型，提供80倍速度提升和95%准确率的语言识别工具，支持多种语言识别:https://github.com/zafercavdar/fasttext-langdetect

Mistral 7B v0.3发布。词汇表扩展到 32768 个词，支持新的 v3 Tokenizer，支持函数调用https://huggingface.co/mistralai/Mistral-7B-v0.3

OpenRLHF:一个易于使用、可扩展且高性能的RLHF框架:OpenRLHF:An Easy-to-use.Scalable and High-performance RLHFFramework，使用Ray、LM和DeepSpeed重新设计了模型的调度，集成RLHF、DP0、拒绝抽样等技术https://arxiv.org/pdf/2405.11143，代码:GitHub - OpenLLMAI/OpenRLHF: An Easy-to-use, Scalable and High-performance RLHF Framework (70B+ PPO Full Tuning & Iterative DPO & LoRA & Mixtral)

5月份大模型关键事件

Gemma+ NIM:NVIDIA与 Google合作大模型推理加速，NVIDIA和谷歌合作发布Gemma 2和PaliGemma两款模型，旨在提升生成式AI模型在多媒体任务中的表现:新模型通过NVIDIA NIM推理微服务集成，支持高效部署:

谷歌发布Veo模型，支持生成超过1分钟的1080P高清视频，技术细节如视频连贯性和光影效果得到优化:Ve0整合进Video-Fx产品中，开放API，提高开发者易用性;

OpenAl超级对齐团队领导人Jan Leike和首席科学家llya Sutskever同时宣布离职，引发关于AGI实现的广泛猜测:超级对齐团队旨在解决AGI安全对齐问题，但多位成员离职可能表明内部对AGI发展的分歧或不满:

谷歌推出第六代TPU“Trilium"，峰值计算性能是前代TPU v5e的4.7倍，更强大、更节能

马斯克的xAI计划与甲骨文签署100亿美元交易，租用服务器以支持其 A1项目:xAI旨在年底前达到使用10万台H100 GPU，目前已是甲骨文最大的H100客户:

谷歌DeepMind发布全新AI代理Project Asua，可实现跨文本、音频、视频的多模态实时推理;Asta具有高级多模态理解能力可通过设备如手机和谷歌眼镜进行实时环境解读和交互:

混元文生图大模型开源，Sora同架构，可免费商用，支持中英双语输入，允许免费商用，可通过HuggingFace和GitHub访问

谷歌提出强化和无监督ICL方法，利用Gemini 1.5Pro模型支持的100万tokens上下文，显著提升大模型的学习和输出能力:

字节跳动发布9款模型、包括豆包通用模型liti、豆包角色扮演模型、豆包语音合成模型、豆包声音

复刻模型、豆包·语音识别模型、豆包·文生图模型、豆包·FunctionCall 模型。.