eagleofstar的博客

原创 智源评测体系发布 国内外“百模”评估结果出炉

本次智源评测使用20余个数据集、超8万道考题，包括与合作单位共建和智源自建的多个评测数据集，如中文多模态多题型理解及推理评测数据集CMMU、中文语义评测数据集C-SEM、中文语言及认知主观评测集CLCC、面向复杂算法代码生成任务的评测集TACO、文生图主观评测集Image-gen、多语言文生图质量评测数据集MG18、文生视频模型主观评测集 CUC T2V prompts。其中，开源模型采用模型发布方推荐的推理代码及运行环境，对所有模型统一使用业界通用的提示语，不针对模型做提示语的优化。

原创 Tele-FLM：全球首个低碳高性能大模型 现已全面开源

现代大模型的结构，特别是具有非bias设计和截断 norm初始化的结构的模型，结合有效的超参数搜索，是具备足够的鲁棒性应对spike。Tele-FLM在保证中文“质”的前提下，采用了中文：英文为1:2的比例，实验结果证明，模型取得了优秀的中文能力表现。对于Tele-FLM基础模型，在英文上，研发团队选取Open LLM Leaderboard覆盖的6个测试基准，以及衡量代码能力的HumanEval、衡量推理能力的BBH进行评测，并选取Llama系列模型进行对比。学习率等关键超参，直接影响模型最终的性能。

原创 十问具身智能

王仲远：具身智能和无人驾驶不同之处在于无人驾驶整体上是特定的场景，但是具身智能尤其具身机器人要解决的场景数特别多，比如有家庭的场景、流水线的场景，场景的数量多到一定程度之后，数据采集是否容易成为现实，现在研究上有很多基于仿真数据进行模型训练、机器人训练。第三，语义可达，比如，拿苹果是为了榨汁。今天很多人形机器人的强化学习，也是主要在仿真世界进行的，但是未来当这样机器人充分在我们世界中存在，有车这样的存量的时候，形成了在真实世界交互的数据闭环，最终将成为具身智能的源头活水，真正释放出更多能力。

原创 中文互联网语料库CCI 2.0开放，打造大模型数据“共建-共享”新模式

2021年，智源推出全球最大语料库WUDAO copora，开放200GB高质量低风险中文语料，由400余个产学研单位合作，已有770多个研发团队申请，为微软、哈佛大学、斯坦福大学、华为、阿里巴巴、腾讯、鹏城实验室等提供数据服务，有效支撑全球大模型相关研究。为了共同打造数据过滤与治理标准，形成语料内容清洗过滤规则，工作组建设了内容清洗过滤规则的共享机制，各单位共享过滤规则，进行数据过滤，形成语料数据共治模式。，综合工作组成员单位贡献数据过滤规则的数据规模与数据质量，用于对各单位的贡献度进行评价。

原创 FlagPerf支持千卡集群的AI芯片评测，形成多模态&混合专家大模型场景评测方案

秉持“开源开放”精神，智源研究院联合一批全国重点的人工智能芯片企业共建“AI开放生态实验室”，围绕AI芯片进行底层技术联合创新，验证各种AI芯片对超大规模模型训练任务的支持力度，推动AI芯片构建完整的上下游软件生态，为AI芯片的生态发展和创新打造开放合作的平台。截至目前，FlagPerf 已完成来自9家芯片厂商的15款芯片的综合评测。芯片厂商C：“Flagperf 时效性强，紧跟社区动态，添加了 llama2，baichuan，GLM 等多个经典大模型评测，互为助力，契合厂商不断发展的评测需求。

原创 FlagScale 全面升级，支持跨厂商异构芯片合池训练

由于不同厂商的卡间互联协议不同，为了实现“英伟达芯片+其它AI芯片”高速互联，智源团队与天数智芯协作，优化天数智芯的iXCCL通信库，使其在通信元语操作上以及API接口上兼容英伟达NCCL，然后将框架编译链接到同一iXCCL通信库上，从而在用户和AI框架无感知的情况下实现异构算力芯片间高效通信，进而实现不同架构芯片混合训练。同时，为了加速多种AI芯片在大模型训练场景的使用，智源积极探索高效灵活的芯片适配方案，通过与硬件厂商的深入合作，近日，FlagScale 开源大模型并行训练框架全面升级。

原创 FlagEval 11月榜 | 开源中文语义理解评测集C-SEM，新增ChatGLM3、Yi 等模型评测

FlagEval 平台尽可能采用丰富的评测维度、引入不同的评测方法对模型进行全面的评测，但当前主流的大语言模型评测集已经在业界使用了一段时间，模型针对这些评测集也会出现过度训练的情况，导致用户难以衡量大模型真实的通用能力。A. 因为有了你，在生命的悬崖前，我不曾退缩过，因为有了你，在坠入深渊时，我始终都有挣扎向上的勇气与力量，因为有了你，珠穆琅玛峰上才会出现我的足迹，因为有了你，在阴暗的道路上行走我都不会感到丝毫的害怕，心头总暖暖的……问题：“笔尖的力量在我的手中化作了思想的火花，点燃了梦想的火炬。

原创 生物神经元高效算法加速大脑仿真，智源联合成果登上Nature Communications

DeepDendrite框架不仅支持高效的精细神经元仿真研究，还能够直接运行NEURON平台的神经网络模型，支持面向大数据人工智能训练的高效批处理学习，构建而得多层精细神经网络HPC-Net，用于图像分类任务，训练时间比现有仿真平台提速约25倍。这就需要借助更先进的神经元模型和仿真方法。这个框架利用GPU的强大计算性能，将仿真速度比采用CPU的NEURON仿真平台提高了2-3个数量级，相比使用GPU的NEURON平台，提高了1个数量级，使我国在高精度生物神经网络仿真方面达到了国际显著领先地位。

原创 Aquila2-34B推出Int4量化版本，低资源实现最强开源模型性能

为了降低开发者使用大模型的门槛，智源Aquila团队在AquilaChat2 系列模型基础上整合了Int4量化技术和QLoRA微调推理技术，显著降低了34B级别大模型的训练和推理所需的资源，为用户在低资源环境中运行大参数模型提供了新的可能。此外，Aquila2-34B 系列模型已与较低配置的AI芯片进行适配，已成功在 24G 显存的国产芯片上进行推理，后续将积极推动模型与更多国产异构芯片的适配，期望广泛链接大模型产业生态创新力量，推动AI软硬件生态繁荣。

原创 更大更强！有请智源 Uni3D 视觉大模型，从「最强2D」升维「最强3D」

10 亿参数的 3D 视觉六边形战士

原创 FlagEval 10月榜：新增Aquila2-34B、InternLM-20B、Qwen-14B等模型

当前针对生成式模型的客观评测方式主要分为两类，我们称之为“选项概率式”和“自由生成式”，后者是真正让模型生成答案内容，由真正生成的答案内容来判断模型的上下文理解能力、和指令跟随能力。FlagEval 大语言模型评测体系建立的初衷是“以评促优”，希望模型研发团队能以评测结果为参考，进一步发现模型问题、优化模型性能。例如：根据指令要求，正确答案为1个字母“A”，如果模型生成为“B”或“答案是 A ”（与正确答案的格式不相符），都会被判为“0”分。使用方式二：通过 FlagOpen 模型仓库单独下载权重。

原创 最强开源中英双语大模型：悟道·天鹰340亿携全家桶登场

满满诚意：一系列明星模型+开源全家桶

原创 FlagOpen x 昇腾AI ｜ 共建AI硬件评测体系，赋能大模型生态创新

近期，昇腾 AI 与 AI 芯片一体化评测引擎 FlagPerf 完成阶段性适配，共同推进 AI 硬件评测体系建立，赋能大模型技术创新能力提升，加速我国 AI 生态繁荣发展。

原创 智源 PI 面对面 | 当我们面试时我们在聊什么？

我们要求候选人对自己擅长的领域足够擅长，但科研的知识往往都是触类旁通，引用宏江的一句话，“他们首先是科学家，然后才是领域学者”，一个优秀的科研人员往往也是触类旁通的“通才”。我们对实际工作经验的要求，主要看候选人在过去的研究或项目中是否取得过明显的成绩，以及在这一过程中能否展现出对学术研究的热情和对知识的渴望。我们关心一个候选人是否足够成熟，具备由学生心态转化成独立的科研人员的心态，这个问题同时考察了候选人对于整个世界的感知，自己过往方向的优势和局限，和对自己未来的畅想。

原创 FlagPerf x 昆仑芯 ｜ AI芯片一体化评测引擎首批适配完成

共同推进AI软硬件评测体系建设，赋能大模型技术创新能力提升

原创 智源研究院2024秋季校园招聘开启，共创明天代表作

原创 拥抱全球大模型开源生态，FlagAI+Aquila 支持多种开源高效训练推理框架

在大模型飞入千家万户的科技浪潮中，智源率先倡导建设大模型开源生态，建设FlagOpen大模型基础软件开源体系，构建大模型基础设施。

原创 FlagEval 8月榜单：新增通义千问、Llama2等多个模型评测，新增基座模型代码生成能力评测

FlagEval 大语言模型8月评测榜单发布，新增多个明星开源模型评测，引入针对基座模型的 HumanEval 评测。

原创 链接大模型与外部知识，智源开源最强语义向量模型BGE

为加快解决大模型的制约问题，近日，智源发布最强开源可商用中英文语义向量模型BGE（BAAI General Embedding），在中英文语义检索精度与整体语义表征能力均超越了社区所有同类模型，如OpenAI 的text embedding 002等。此外，BGE 保持了同等参数量级模型中的最小向量维度，使用成本更低。

原创 悟道·天鹰 AquilaCode升级多语言代码生成，多项指标领先，开源可商用

今年6月，智源发布悟道·天鹰（Aquila）大模型系列，开启国内通用大模型「开源可商用」先河。作为目前支持中英双语、性能最好的开源“文本-代码”生成模型，AquilaCode 逾一月更新迭代，全面升级多语言代码生成模型AquilaCode-multi及 Python 语言生成模型AquilaCode-py，依然商用许可，且持续迭代开源。

原创 FlagEval 7月榜单：新增 LLaMA、Aquila、GLM等基座模型评测结果

​FlagEval 天秤大模型评测平台于6月9日上线以来，发布一个月内已收到 200+ 模型评测申请，并更新了首期 SFT 模型排行榜和大模型2023高考排行榜。近日，FlagEval 大模型评测新增了多个开源基座模型和有监督微调模型评测。

原创 智源「悟道3.0」Emu模型开源，「多模态-to-多模态」全能高手

首个打通从多模态输入到多模态输出的「全能高手」，统一多模态预训练模型 Emu开源，来自智源研究院「悟道·视界」研究团队。超越了此前 DeepMind 的多模态大模型 Flamingo，Emu 刷新8项性能指标；并且模型能力覆盖图像与文本的生成及视频理解，更通用，能完成任意图生文以及文生图的多模态任务。

原创 智源x复旦 | Argus-3D形状生成大模型，多模态生成3D形状

近日，智源研究院与复旦大学联合带来 Argus-3D 形状生成大模型，36亿参数规模，相比 OpenAI 的 Shape-E 等模型亦表现出色。目前已部分开源。

原创 大模型 2023 高考成绩如何？FlagEval 大模型评测排行榜更新

开源大模型“2023 高考放榜”；FlagEval 天秤大模型评测平台更新「SFT 模型排行榜」；悟道·天鹰 Aquila 开源最新模型权重

原创 COIG二期发布：最大规模中文多任务指令集，上新千个中文数据集

智源研究院发布的国内首个大规模、可商用中文开源指令数据集COIG（Chinese Open Instruction Generalist），带来二期成果COIG-PC（Prompt Collection )，当前已发布来自348个源数据集的949个指令任务文件，未来将持续更新。

原创 「悟道·视界」视觉大模型系列，6项领先成果技术详解

日前，智源「悟道·视界」通用视觉大模型系列，带来计算机视觉多任务处理能力方面的6项国际领先技术，迎接通用视觉智能曙光降临。

原创 FlagEval 天秤大模型评测体系及开放平台，打造更全面的引领性评测基准

FlagEval （天秤）语言大模型评测体系建立了“能力-任务-指标”三维评测框架，目前涵盖了 22 个主观和客观评测集，84433 道题目，细粒度刻画大模型的认知能力。但由于当前的英文数据仅训练了相当于 Alpaca 的40%，所以AquilaChat 在英文的客观评测上还暂时落后于基于 LLaMA 进行指令微调的 Alpaca。随着后续训练的进行，相信很快可以超越。

原创 悟道·天鹰 Aquila + 天秤 FlagEval，打造大模型能力与评测标准双标杆

为推动大模型在产业落地和技术创新，智源研究院发布“开源商用许可语言大模型系列+开放评测平台” 2 大重磅成果，打造“大模型进化流水线”，持续迭代、持续开源开放。