每日一看大模型新闻（2023.11.03）ChatGPT 真实参数只有 200 亿，首次被微软曝光！；深言科技联合清华开源语鲸 LingoWhale-8B 模型；Phind 模型超越 GPT-4

本文链接：https://blog.csdn.net/liuxiuxiu3/article/details/135183121

1.产品发布

1.1.深言科技联合清华开源语鲸 LingoWhale-8B 模型

发布日期： 2023.11.03

https://blog.csdn.net/weixin_40920183/article/details/134213442

主要内容： 近日，由深言科技与清华大学 NLP 实验室共同研发的语鲸 LingoWhale-8B 模型已面向社会开源 。据介绍， LingoWhale-8B 模型是 拥有约 80 亿参数的中英双语大语言模型 ，在 C-Eval 、 MMLU 、 CMMLU 等多个权威的公开评测基准上，在 10B 以下开源模型中达到领先效果 。 LingoWhale-8B 模型对学术研究完全开放，开发者通过邮件申请并获得官方商用许可后，即可免费商用。

开源地址：

https://github.com/DeepLangAI/LingoWhale-8B

https://huggingface.co/deeplang-ai/LingoWhale-8B

1.2.幻方旗下深度求索发布免费开源大模型 DeepSeek Coder

发布日期： 2023.11.03

https://zhuanlan.zhihu.com/p/664849454

主要内容： 幻方的 AGI 研究组织“深度求索”发布了第一代大模型 DeepSeek Coder ， 免费商用，完全开源 ，已进入内测。这一模型具有强大的代码生成能力，可以编 写游戏、修改 UI 、进行数据分析 ，是开源领域的亮点。深度求索将继续发布更多开源模型，致力于探索 AGI 的本质。幻方拥有 大量英伟达 A100 芯片，专注于推动人工智能技术进步。

1.3.谷歌推出“先进天气预报 AI”MetNet-3，号称预测结果超过传统物理模型

发布日期： 2023.11.03

https://www.ithome.com/0/729/873.htm

主要内容： 当地时间 11 月 1 日，谷歌研究院于官网发布与 DeepMind 合作开发的天气模型 MetNet-3 ，该模型以之前的 MetNet 和 MetNet-2 为基础，能够提前24 小时对更多核心变量进行高精度预测，包括 降水、表面温度、风速、风向和 体感温度 等。谷歌称已经在与天气相关的各种产品和技术中集成了 MetNet-3 的功能，目前在美国本土和欧洲部分地区推出，重点是 12 小时降水预报。

2.技术更新

2.1.Gen-2 颠覆 AI 生成视频！一句话秒出 4K 高清大片

发布日期： 2023.11.03

https://mp.weixin.qq.com/s/GnTncBzzSuydrXgRhbBaCg

主要内容： Gen-2 在文生视频和图生视频中，为结果的 保真度和一致性 带来了重大改进。在图生视频（Image to Video ）能力上，有网友拿着 PIKA 这位 AI 生成视频顶流，跟 Gen-2 做了一番比较。从整体结果上来看， Gen-2 目前无论是 在画质 的清晰度，视频的流畅度等方面，都是更胜一筹 。相比于传统的文本控制扩散模型，Gen 通过文本、图像、视频混合的训练模式，提高了生成视频的质量和一致性，同时还降低了训练消耗。同时，Runway 还提出了延时扩散模型，在预训练的扩散模型中引入时序层，使得模型在推理阶段具有更高的时间一致性。

Gen-2 体验地址： https://research.runwayml.com/gen2

2.2.北大团队研发算法优化软件，普通笔电也能应对大型模型挑战

发布日期： 2023.11.03

https://zhuanlan.zhihu.com/p/664873195

主要内容： 北京大学团队成功开发了算法优化软件，通过 结合程序演算和程序枚 举方法，解决了大型模型难以应对的问题 。他们设计了两套软件，一支持 分治和 动态规划问题 ，另一支持 动态规划算法 。这些软件在测试中表现出色，可以解决众多算法问题，且硬件需求不高。这一创新方法有望提高算法效率，为代码优化和应用性能提升提供了新途径。这两套软件将来会开源，使更多人受益，而相应的论文也被接收到重要的程序设计语言顶会。

2.3.Phind 模型超越 GPT-4，夺 Big Code 排行榜首

发布日期： 2023.11.03

https://zhuanlan.zhihu.com/p/664863698

主要内容： Phind 声称 代码能力超越 GPT-4 ，准确率高出 10% 且速度接近 GPT-3.5 。Phind 以 74.7% 的 Pass@1 通过率登上 Big Code 排行榜首。它基于 CodeLlama-34B微调，在 H100 硬件上以每秒 100 个 token 的速度运行，是 GPT-4 的 5 倍。 Phind上下文长度达 16k ，其中 12k 供用户输入， 4k 用于检索。引发广泛关注，有人支持其竞争力，但也有人表示无法复现 GPT-4 的代码。实际测试中， Phind 在某些情况下胜出，但在其他情况下略逊。不容忽视的是， Phind 的搜索能力和无需登录特点备受关注。

2.4.ChatGPT 真实参数只有 200 亿，首次被微软曝光！

发布日期： 2023.11.03

https://zhuanlan.zhihu.com/p/664475189

主要内容： 微软的一篇论文泄露了 ChatGPT 的真实参数，这一全球风暴引领者的大模型仅有 200 亿参数 。这曝光引起了广泛关注和讨论，许多人对此感到不可思议。有人认为这一发现或许是为了 OpenAI 的开源做准备，因为现在许多大型模型已经迎头赶上。除了揭示参数信息，该论文还介绍了一种采用扩散模型进行代 码生成的新方法 ，采用编码 - 解码架构的 CODEFUSION 。该方法在多种任务上表现出色，生成更多语法正确和多样化的代码，引起了业界关注。