LLM-2021：GPT-J【GPT-3开源替代品】【EleutherAI 】

已于 2023-06-17 10:41:32 修改
阅读量1k 收藏 1
点赞数
分类专栏： # LLM/经典模型 文章标签： gpt-3 人工智能 深度学习
于 2023-03-16 16:38:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/129590945
版权

GitHub - kingoflolz/mesh-transformer-jax: Model parallel transformers in JAX and Haiku

GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美

2020 年，微软与 OpenAI 达成了协议，微软将拥有对 GPT-3 源代码的独家访问权，自此 OpenAI 就不像以往一样开放其 GPT-3 AI 模型，而 OpenAI 的 GPT-1 和 GPT-2 仍然是开源项目

为了打破 OpenAI 和微软对自然语言处理 AI 模型的垄断，EleutherAI 的一组研究人员已经对 GPT-J 进行开源。GPT-J 是一套基于 GPT-3 的 AI 模型，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
u013250861
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
chatgpt网页版替代方法
叶子的博客
02-13 1万+
从昨天网上开始一直开着的chatgpt网页突然打不开了，提示1020错误，尝试换了不同代理软件或者代理地点仍然无法解决，也搜了很多资料，比如删除cookie、重启浏览器、更换浏览器等均不起作用。如果后续有解决方案，将在这篇文章更新；如果大家有解决方案，欢迎在文章下方留言。之前介绍的公众号内使用chatgpt方法仍然有效，不需要注册和代理即可使用。可在公众号内直接体验chatgpt，也可以按照之前博文。网站上也有多人反馈该问题，但是仍没有解决方案。下面这个网址是大家反馈的最新内容。
GPT-J 自然语言处理 AI 模型
ejinxian的专栏
07-18 5106
GPT-J 是一个基于 GPT-3，由 60 亿个参数组成的自然语言处理 AI 模型。该模型在一个 800GB 的开源文本数据集上进行训练，并且能够与类似规模的 GPT-3 模型相媲美 2020 年，微软与 OpenAI 达成了协议，微软将拥有对 GPT-3 源代码的独家访问权，自此 OpenAI 就不像以往一样开放其 GPT-3 AI 模型，而 OpenAI 的 GPT-1 和 GPT-2 仍然是开源项目 打破 OpenAI 和微软对自然语言处理 AI 模型的垄断，Connor Leahy、Leo
探索语言的无限可能：GPT-J，您的智能编程伙伴
最新发布
gitblog_00031的博客
05-31 326
探索语言的无限可能：GPT-J，您的智能编程伙伴 项目地址:https://gitcode.com/TheProtaganist/gpt-j 在人工智能的浪潮中，每一项创新都为我们的日常开发带来了革命性的变化。今天，我们要介绍的是一个基于Python的GPT-J API，这是一位无声却智慧非凡的助手，等待着与每一位开发者共同探索代码的世界。 项目介绍 GPT-J API是基于transformer...
gpt-3开源吗
weixin_35756892的博客
12-30 2198
GPT-3(Generative Pre-trained Transformer 3)是一个大型的预训练语言模型，由 OpenAI 开发。它目前并不是开源的，而是作为一项有偿服务提供。但是，OpenAI 在其官网上提供了一些关于 GPT-3 的文档和技术细节，以及如何使用 GPT-3 的信息。 ...
Databricks 笔记本微调了羊驼数据集上的 GPT-J 6B 模型
零基础 Openresty 高性能网站开发
03-27 453
这使用 Databricks 笔记本微调了羊驼数据集上的 GPT-J 6B 模型。请注意，虽然 GPT-J 6B 已获得 Apache 2.0 许可，但 Alpaca 数据集已获得 Creative Commons NonCommercial (CC BY-NC 4.0) 许可。
GPT-5：人工智能的新里程碑
04-13
人工智能技术正在以惊人的速度发展，其中最引人注目的是OpenAI的大型语言模型（LLM）系列，即GPT。GPT是生成预训练变换器（Generative Pre-trained Transformer）的缩写，它可以根据输入的文本生成自然语言内容。从...
NExT-GPT: Any-to-Any Multimodal LLM
01-20
NExT-GPT：Any-to-Any Multimodal LLM NExT-GPT是一种Any-to-Any Multimodal语言模型（LLM），旨在解决现有视觉语言模型受到多模态输入端理解的限制，无法以多种模态生成内容的问题。该模型通过将LLM与多模态适配器...
GPT-5：发布日期、AGI 声明、回击等，下一个大型语言模型
04-09
GPT-5 是 OpenAI 发布的下一个主要 LLM（大型语言模型）。鉴于ChatGPT的巨大成功，OpenAI 正在继续推进为其人工智能聊天机器人提供动力的未来模型的开发。 GPT-5 旨在成为对GPT-4 的重大改进，尽管人们对此知之甚少...
微软154页研究刷屏：GPT-4能力接近人类，“天网”初现？
03-27
在研究者看来，这个早期版本的GPT-4，就已经是新一代LLM的代表，并且相较于之前的人工智能模型，展现出了更多的通用智能。 通过测试，微软的研究者证实：GPT-4不仅精通语言，还能在数学、编程、视觉、医学、法律、...
stackexchange-dataset：用于将stackexchange数据转储到语言模型的文本数据集中的Python工具
02-16
stackexchange_dataset 用于下载和处理到语言模型的文本数据集中的python工具。 在下载整个处理的数据集 设置 git clone https://github.com/EleutherAI/stackexchange_dataset/ cd stackexchange_dataset pip install -r requirements.txt 用法 要下载每个stackexchange转储并解析为文本，只需运行 python3 main.py --names all 要仅下载一个stackexchange，可以将名称添加为可选参数。 例如： python3 main.py --names security.stackexchange 要下载多个堆栈交换的列表，可以添加用逗号分隔的名称。 例如： python3 main.py --names ru.sta
亚马逊云科技使用Inf2实例运行GPT-J-6B模型
m0_66395609的博客
05-17 479
目前，它提供了GPT2、GPT-J和OPT模型类型的演示脚本，它们的前向函数在编译过程中重新实现，以进行代码分析和优化，并且可以基于同一个库实现其他模型架构。Inf2实例是Amazon EC2中的第一个推理优化实例，引入了由NeuronLink（一种高速、非阻塞互连）支持的横向扩展分布式推理。为了实现可持续发展目标，与其他类似的Amazon EC2实例相比，Inf2实例的每瓦性能提高了50%。它是OpenAI的GPT-3最先进的替代方案之一，在聊天、摘要和问答等广泛的自然语言任务中表现良好。
EleutherAI和Pythia
qq_15821487的博客
05-31 390
虽然 EleutherAI 的部分核心团队成员来自于美国、英国、德国、荷兰等国家，但它是一个非营利性质的全球社区，任何对人工智能研究和应用有兴趣的人都可以在该社区中自由参与并贡献自己的智慧和创新。EleutherAI 的目标是构建一个开放的人工智能研究生态系统，支持所有对人工智能技术开发和应用感兴趣的人参与到研究中来。该社区致力于开发高质量、可持续性、安全性的人工智能技术。EleutherAI 开发的最重要的项目之一是GPT-3的开源替代品EleutherAI GPT，这是一个十分大型的自然语言处理模型。
EleutherAI：当OpenAI不够开放时，我们该如何选择？
人工智能学家
04-03 630
来源：ScienceAI编辑：萝卜皮人工智能最令人不安的事情之一是它超越了人类控制、遏制或规范它的权力。然而，它可能会产生可怕的结果，例如药物发现人工智能最近错误地发现了可用作化学武器的致命毒素。今天，没有比 EleutherAI 更好的例子来说明 AI 的无拘无束了，EleutherAI 是一个松散的计算机科学家协会，他们建立了一个巨大的 AI 系统来与地球上一些最强大...
【LLM系列之底座模型对比】LLaMA、Palm、GLM、BLOOM、GPT模型结构对比
yanqianglifei的专栏
05-18 2847
使用 ALiBi 位置嵌入，它根据键和查询的距离直接衰减注意力分数。与原始的 Transformer 和 Rotary 嵌入相比，它可以带来更流畅的训练和更好的下游性能。ALiBi不会在词嵌入中添加位置嵌入；相反，它会使用与其距离成比例的惩罚来偏向查询键的注意力评分。Embedding Layer Norm 在第一个嵌入层之后立即使用，以避免训练不稳定。使用了 25 万个标记的词汇表。使用字节级 BPE。这样，标记化永远不会产生未知标记。
使用 FasterTransformer 和 Triton 推理服务器部署 GPT-J 和 T5
热门推荐
专注于人工智能领域的小何尚
08-12 2万+
这篇文章是大型Transformer模型（例如 EleutherAI 的 GPT-J 6B 和 Google 的 T5-3B）的优化推理指南。这两种模型在许多下游任务中都表现出良好的效果，并且是研究人员和数据科学家最常用的模型之一。NVIDIA Triton 中的 NVIDIA FasterTransformer (FT) 允许您以类似且简单的方式运行这两个模型，同时提供足够的灵活性来集成/组合其他推理或训练管道。......
并行训练GPT-J官方文档说明
siliment的博客
07-06 165
多GPU训练GPT-J
EleutherAI GPT-Neo: 穷人的希望
xiexiecn的专栏
11-27 4128
​ 前面一篇blogfinetune一个GPT3，借助openai的api finetune了一个GPT3，使用下来确实太贵，生成了1w条数据，花掉了60多美刀。肉痛，所以穷人只能想想穷人的办法，脑子就浮现出好朋友EleutherAI的GPT-Neo来。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值