Falcon 40B——全球排名第一的AI模型现在已免费授权

技术狂潮AI

已于 2023-08-01 16:00:54 修改

阅读量486

点赞数

分类专栏： LLM应用实战文章标签：人工智能

于 2023-08-01 16:00:21 首次发布

本文链接：https://blog.csdn.net/FrenzyTechAI/article/details/132044323

版权

LLM应用实战专栏收录该内容

96 篇文章

订阅专栏

前言

随着阿布扎比进入竞技场，机器人大战正在升温，最近宣布了自己的大型语言模型Falcon，以与 OpenAI、DeepMind 和谷歌等公司竞争。

在斯坦福大学的外部性能评估中，Falcon 比 GPT-3 以及 DeepMind 和谷歌的模型更便宜、运行速度更快。

阿布扎比 - 阿拉伯联合酋长国：2023 年 5 月 31 日- 技术创新研究所 (TII) 的 Falcon 40B 是阿联酋领先的大型开源人工智能模型，现免收商业和研究使用的版税费用，以响应全球对人工智能包容性地访问的需求。

在Hugging Face的大型语言模型排行榜上排名全球第一的Falcon 40B，胜过了Meta的LLaMA和Stability AI的StableLM等竞争对手。根据宽松的Apache 2.0软件许可证，Falcon 40B最终用户可以访问该软件涉及的任何专利。Apache 2.0确保了安全和可用性，并建立了一个有效的治理模型，为强大的开源软件提供支持。

Falcon 40B 的排名，请访问：https://huggingface.co/spaces/HuggingFaceH4/openllmleaderboard

TII 不受限制地使用 Falcon 40B 凸显了其致力于技术创新和知识共享、培养协作生态系统并加强阿联酋作为全球 AI 领导者的地位。此外，它还反映了阿联酋致力于突破界限，塑造人工智能在推动积极变革中发挥关键作用的未来。

TII对Falcon 40B的无限制访问凸显了其对技术创新和知识共享的承诺，促进了协作生态系统的形成，增强了阿联酋作为全球人工智能领导者的地位。此外，这也反映了阿联酋致力于推动边界并塑造未来，在其中人工智能发挥重要作用以推动积极变革的承诺。

通过开源、免费部署Falcon 40B，公共和私营部门实体可以获得效率提升，例如更快的项目启动、更快的迭代、更灵活的软件开发流程、强大的社区驱动支持和更轻松的许可证管理等。

TII旨在在全球开发人员、研究人员和企业之间培育一个充满活力的协作、创新和知识共享生态系统。此举促进了透明性、包容性和人工智能领域加速进展，为其在各行业和领域的应用打开多样化机遇。

TII的AI跨中心部门主任Ebtesam Almazrouei博士表示：“取消Falcon 40B版税费用促进了一个凝聚社会的包容性技术发展。我们致力于利用技术使人类团结一致并未未来-proof我们的世界。”

二、Falcon 40B 介绍

Falcon LLM 是一种基础大型语言模型 (LLM)，具有 400 亿个参数，在 1 万亿个令牌上进行了训练。TII 现已发布 Falcon LLM – 40B 型号。

该模型仅使用了 GPT-3 训练计算的 75%、Chinchilla 的 40% 和 PaLM-62B 的 80%。

三、Falcon LLM 是如何开发的？

Falcon 具备什么优势

Falcon 是使用自定义工具构建的，并利用独特的数据管道，可以从网络数据中提取高质量的内容，并将其用于训练自定义代码库，独立于 NVIDIA、Microsoft 或 HuggingFace 的作品。
特别关注大规模数据质量。众所周知，LLM 对其训练数据的质量很敏感，因此在构建数据管道时格外小心，该管道既可以扩展到数万个 CPU 内核以进行快速处理，又可以使用广泛的网络从网络中提取高质量的内容。过滤和重复数据删除。
Falcon 的架构针对性能和效率进行了优化。将高质量数据与这些优化相结合，Falcon 仅在训练计算预算的 75% 上就明显优于 GPT-3，并且在推理时需要五分之一的计算。
Falcon 与 DeepMind、Google 和 Anthropic 的最先进 LLM 的性能相媲美。

Falcon 是如何训练的

Falcon 是一个 400 亿参数的自回归解码器模型，在 1 万亿个令牌上训练。在两个月的时间里，它在 AWS 上的 384 个 GPU 上进行了训练。
预训练数据是从网络的公共抓取中收集的，以构建 Falcon 的预训练数据集。使用 CommonCrawl 的转储，经过大量过滤（以删除机器生成的文本和成人内容）和重复数据删除后，组装了近 5 万亿个标记的预训练数据集。
为了扩展 Falcon 的能力，这个数据集随后被扩展到一些精选的来源，例如研究论文和来自社交媒体的对话。
最后，Falcon 的性能根据 EAI Harness、HELM 和 BigBench 等开源基准进行了验证。