EleutherAI和Pythia

最新推荐文章于 2024-09-11 09:27:47 发布
最新推荐文章于 2024-09-11 09:27:47 发布
阅读量441 收藏
点赞数
分类专栏： 笔记 术语 人工智能 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_15821487/article/details/130961843
版权
笔记 同时被 3 个专栏收录
693 篇文章 16 订阅
订阅专栏
术语
478 篇文章 7 订阅
订阅专栏
人工智能
52 篇文章 3 订阅
订阅专栏
EleutherAI是一个国际性的开源AI研究社区，致力于构建开放的AI生态系统。他们开发了GPT-3的开源替代品EleutherAIGPT，推动人工智能技术的民主化。社区成员来自全球各地，共同参与和贡献AI技术的发展，如Pythia这样的大模型项目。
摘要由CSDN通过智能技术生成

EleutherAI 不是任何一个国家的机构，它是一个国际性的开源人工智能研究社区。EleutherAI 的目标是构建一个开放的人工智能研究生态系统，支持所有对人工智能技术开发和应用感兴趣的人参与到研究中来。该社区致力于开发高质量、可持续性、安全性的人工智能技术。

EleutherAI 开发的最重要的项目之一是GPT-3的开源替代品EleutherAI GPT，这是一个十分大型的自然语言处理模型。该模型的开源目标是使人工智能技术更加民主化，让更多的人能够参与到人工智能技术的创新中来。

EleutherAI 在早期的项目筹备和开发阶段得到了全球范围内广泛的支持和认可。虽然 EleutherAI 的部分核心团队成员来自于美国、英国、德国、荷兰等国家，但它是一个非营利性质的全球社区，任何对人工智能研究和应用有兴趣的人都可以在该社区中自由参与并贡献自己的智慧和创新。

Pythia是EleutherAI 开源的大模型

【通览一百个大模型】Pythia（EleutherAI）
夏栀的博客
07-09 950
Pythia，一个由70M到12B个参数的解码器自回归语言模型套件，旨在专门促进科学研究。模型覆盖了多个数量级的模型规模。所有模型都按照相同的顺序在相同的数据上进行训练。数据和中间检查点可供公开研究使用。作者在Pile和去重后的Pile上训练了8个模型规模，提供了两套可以进行比较的套件副本。作者利用Pythia的这些关键特性，首次研究了精确的训练数据处理和模型规模对性别偏见、记忆能力和少样本学习等属性的影响。减轻性别偏见（Mitigating Gender Bias ）
LLM-2021：GPT-J【GPT-3开源替代品】【EleutherAI 】
u013250861的博客
03-16 1147
在常规 NLP 基准测试任务当中，GPT-J 的准确率与 OpenAI 方面发布的 GPT-3 67 亿参数版高度相似。该模型使用高达 800 GB 的开源文本数据集训练而成，并在性能上足以与同等规模的 GPT-3 模型相媲美。2020 年，微软与 OpenAI 达成了协议，微软将拥有对 GPT-3 源代码的独家访问权，自此 OpenAI 就不像以往一样开放其 GPT-3 AI 模型，而 OpenAI 的 GPT-1 和 GPT-2 仍然是开源项目。的GPT-J 的源代码和模型，
Pythia-开源
04-27
Pythia是一种自然语言问答系统，它使用语音识别和文本转语音技术与用户进行通信。
Pythia: 大型语言模型分析套件指南
最新发布
gitblog_00165的博客
09-11 413
Pythia: 大型语言模型分析套件指南 Pythia A customizable hardware prefetching framework using online reinforcement learning as described in the MICRO 2021 paper by Bera et al....
EleutherAI：当OpenAI不够开放时，我们该如何选择？
人工智能学家
04-03 658
来源：ScienceAI编辑：萝卜皮人工智能最令人不安的事情之一是它超越了人类控制、遏制或规范它的权力。然而，它可能会产生可怕的结果，例如药物发现人工智能最近错误地发现了可用作化学武器的致命毒素。今天，没有比 EleutherAI 更好的例子来说明 AI 的无拘无束了，EleutherAI 是一个松散的计算机科学家协会，他们建立了一个巨大的 AI 系统来与地球上一些最强大...
EleutherAI GPT-Neo: 穷人的希望
xiexiecn的专栏
11-27 4359
​ 前面一篇blogfinetune一个GPT3，借助openai的api finetune了一个GPT3，使用下来确实太贵，生成了1w条数据，花掉了60多美刀。肉痛，所以穷人只能想想穷人的办法，脑子就浮现出好朋友EleutherAI的GPT-Neo来。
AI：人工智能领域有影响力的开源社区/科技巨头研究机构/全球顶尖学府实验室的简介、课程学习(正确姿势薅羊毛)之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-07 5153
智源社区旨在通过构建高度合作的人工智能社区，充分发挥成员的协同效应，建立活跃的人工智能学术和技术创新生态，并培养出下一代问题的发现者和解决者。成员在智源社区中，可以展示研究成果，探讨新发现；参与智源大会、学术报告会、主题沙龙、论文分享等活动；社区还将帮助学者、学生、开发者、创业者找到学术交流与技术合作的伙伴。官网智源社区ModelScope(阿里巴巴)社区的简介AI：ModelScope(一站式开源的模型即服务共享平台)的简介、安装、使用方法之详细攻略相关文章。
【大模型】 基于AI和全球化进程的权衡：开源大模型与闭源大模型
Skrrapper的博客
05-25 2727
GPT-3（Generative Pre-trained Transformer 3）是OpenAI发布的一个大规模预训练语言模型。尽管GPT-3本身不是完全开源的，但OpenAI提供了API，使得开发者可以访问和使用该模型。它是基于Transformer架构，拥有1750亿参数，是目前最大的语言模型之一。
from transformers import AutoModelForCausalLM, AutoTokenizer prompt = "Alice and Bob" checkpoint = "EleutherAI/pythia-1.4b-deduped" assistant_checkpoint = "EleutherAI/pythia-160m-deduped" tokenizer = AutoTokenizer.from_pretrained(checkpoint) inputs = tokenizer(prompt, return_tensors="pt") model = AutoModelForCausalLM.from_pretrained(checkpoint) assistant_model = AutoModelForCausalLM.from_pretrained(assistant_checkpoint) outputs = model.generate(**inputs, assistant_model=assistant_model, do_sample=True, temperature=0.5) tokenizer.batch_decode(outputs, skip_special_tokens=True) ["Alice and Bob are sitting on the sofa. Alice says, 'I'm going to my room"]解析
07-22
checkpoint = "EleutherAI/pythia-1.4b-deduped" assistant_checkpoint = "EleutherAI/pythia-160m-deduped" tokenizer = AutoTokenizer.from_pretrained(checkpoint) model = AutoModelForCausalLM.from_pretrained...
收录现实中文版ChatGPT的各种技术路线，数据及其他资料
04-27
骆驼 LLaMA : Open and Efficient Foundation ...Dolly : 基于EleutherAI/pythia-12b的指令微调，包含首个开源的人工标记指令微调数据集。 Open-Assistant : 一个早在让每个人都能访问基于聊天的大型语言模型的项目。
[算法前沿]--002-ChatGPT对安全的影响和开源的LLM大模型资源汇总
04-15 3841
从攻防的角度看，是通过防御和反制攻击来保护数据的安全性，其价值在于保护组织的敏感信息和知识产权，减少业务中断和损失，并维护组织的声誉。Chat GPT是生成式人工智能的开山之作，出道即巅峰，是继PC互联网、移动互联网之后又一次革命性创新，其创新性在于突破之前决策式AI基于规则的算法模型框架，跳出之前“数据搬运工”的传统模式，即在海量数据中寻找符合规则策略的数据，经过比对计算，基于当前的环境、条件和状态，准确的找到符合条件的数据，一步一步的走向算法和程序的终点，得出一个确定的决策。
关于大语言模型的论文和学习资源集合
05-14 205
【代码】关于大语言模型的论文和学习资源集合。
2023年4月中旬值得关注的几个AI模型：Dollly2、MiniGPT-4、LLaVA、DINOv2
weixin_48827824的博客
04-25 1854
AI模型的发展速度令人惊讶，几乎每天都会有新的模型发布。而2023年4月中旬也有很多新的模型发布，我们挑出几个重点给大家介绍一下。
2021 年年度最佳开源软件
热门推荐
xiaoyaozizai017的博客
12-12 1万+
与Git类似，LakeFS 的数据中会带有提交记录、元数据字段和回滚等信息，此外还有hooks，即在分支合并到主分支前，hooks会检查数据，确保完整性和质量。StreamNative 将 Apache Pulsar 分布式流处理架构与 Kubernetes 和混合云支持等，以及企业级功能、大型数据、认证和授权、性能监控等工具相结合，既简化了应用程序的开发，又简化了流数据应用的部署和管理。Orange 包含了完整的一系列的组件以进行数据预处理，并提供了数据帐目，过渡，建模，模式评估和勘探的功能。
首席AI教育者Sebastian Raschka博士推荐的2023年最具影响力的 10 篇AI论文
数据派THU
02-10 343
本文约5800字，建议阅读10+分钟 本文为我们带来了 2023 年最值得大家关注，也是最有影响力的十篇 AI 论文。一年又过去，这一年，AI 圈子以一种“狂飙突进”的速度飞速发展，哪怕在这个领域深耕多年的学者们也开始感叹“从没有见过哪个领域在哪一年如同 AI 领域在 这样如此飞速的发展与不断的进化”，毫无疑问，这一年 AI，尤其是大模型的爆发将会深刻影响未来我们生活的方方面面。抱着年终总结，也是...
究诸经典，探寻大模型演变之踪迹
Baihai_IDP的博客
05-29 783
虽然RLHF（带有人类反馈的强化学习）可能不能完全解决目前LLM的问题，但其目前被认为是最好的选择，特别是与前一代的LLM相比。我们以后很可能会看到更多具有创造性的方式，将RLHF应用于LLM的其他领域。上面的两篇论文，InstructGPT和Consitutinal AI，都使用了RLHF，我认为在不久的将来它会成为一种有影响力的方法，如果你想了解RLHF，本节还介绍了其他资源。
【惊叹】AI进步的速度太快，我们赶不上了？
liaozp88的博客
05-30 402
AI 领域的技术，真是隔一段时间就有一个新突破！全民都能训练大模型的时代，指日可待了！QLoRA 的出现进一步节省了训练成本，再结合能够指导网络更快收敛的优化器，训练成本大幅降低。全民都能训大模型的时代，指日可待，就像现在训练分类、检测、分割网络一样。好了，今天就聊这么多吧，我是 徐浪，我们下期见！
一文看全开源大语言模型汇总
中生代技术
05-08 4930
转自分布式实验室01Alpaca/LLaMA（Meta/Stanford）斯坦福 Alpaca：一个遵循指令的 LLaMA 模型。LLaMA 网站：https://ai.facebook.com/blog/large-language-model-llama-meta-ai/Alpaca 网站：https://crfm.stanford.edu/2023/03/13/alpaca.htmlAlpa...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值