LM Head weights；ChatGPT-3词汇量：175,000；llama7b 词汇量，词嵌入维度：4096

于 2024-11-03 23:55:06 发布
阅读量135 收藏
点赞数 1
分类专栏： 教学 文章标签： 人工智能 机器学习 大模型 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38998213/article/details/143473386
版权
教学 专栏收录该内容
773 篇文章 40 订阅 ¥99.90 ¥299.90
订阅专栏

目录

LM Head weights

ChatGPT-3词汇量：175,000

llama7b 词汇量

词汇量：32000

max_position_embeddings: 4096

LM Head weights

ChatGPT-3词汇量：175,000

ChatGPT-4 确切的词向量种类数量公开信息。但可以根据一些语言模型的相关知识进行推测分析。

一般来说，语言模型的词向量种类数量与模型的词汇表大小相关。在自然语言处理中，通常会将文本进行分词或分块处理，每个独特的词或词块都可以看作一种词向量。对于 ChatGPT-4 这样的大型语言模型，其词汇表是非常庞大的。以 ChatGPT 的早期版本为例，有研究指出其词汇表包含 100,261 个不同的单词或词块。而 GPT-3 的最大公开版本词汇量达到了 175,000 个词块。作为更先进、规模更大的 ChatGPT-4，其词向量种类极有可能比这些数量更多，但具体数字难以确定。

总之

了解本专栏 订阅专栏 解锁全文
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机多卡-RTX 4090双卡（五）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-10 3万+
使用LLaMA-Factory高效微调qwen2-7b-instruct
挑战GPT-3以色列推出参数多30亿、词条多5倍的新语言模型
weixin_39787242的博客
08-18 3575
本文转载自量子位 GPT-3有多厉害不用多说了吧？ 现在，以色列特拉维夫一家AI公司——AI21 Labs表示要挑战一下这个巨星在NLP领域的主导地位。 他们计划发布一个比GPT-3还要大的模型，且目前不用排队苦苦申请，所有人都可以免费“调教”。 大多少呢？ GPT-3模型拥有1750亿个参数，而他们这个叫做Jurassic-1(侏罗纪-1)的模型有1780亿个。 GPT-3模型的词汇表有5万个token，而Jurassic-1使用的词汇表则有25万个！ 对所有人开放，训练只需提供50
LLaMA的解读与其微调(含LLaMA 2)：Alpaca-LoRA/Vicuna/BELLE/中文LLaMA/姜子牙
热门推荐
结构之法 算法之道
03-22 7万+
还开始研究一系列开源模型(包括各自对应的模型架构、训练方法、训练数据、本地私有化部署、硬件配置要求、微调等细节)​该项目部分一开始是作为此文《》的第4部分，但但随着研究深入 为避免该文篇幅又过长，将把『第4部分 开源项目』抽取出来 独立成本文。
baichuan7B/13B的原理与微调：从baichuan的SFT实现到baichuan2的RLHF实现
结构之法 算法之道
07-05 1万+
2023年7月11日，百川智能发布Baichuan-13B(这是其GitHub地址Baichuan-13B 是继 Baichuan-7B 之后开发的包含 130 亿参数的开源可商用的大规模语言模型，本次发布包含以下两个版本预训练(对齐(，July注：我看了下代码，这里的对齐指的是通过对话数据对齐，即只做了SFT，没做RLHF)更大尺寸、更多数据Baichuan-13B 在 Baichuan-7B 的基础上进一步扩大参数量到130亿，并且在高质量的语料上训练了1.4。
全量微调Llama2-7b遇到的错误(stanford_alpaca)
鲨鱼儿的博客
03-24 2294
模型：Llama-2-7b-chat-hf。openai的版本不对，更换版本。
LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读
头部AI社区或平台如有邀请博主AI技术主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-21 1286
​ LLMs：《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读 目录 《Efficient And Effective Text Encoding For Chinese Llama And Alpaca—6月15日版本》翻译与解读 ABSTRACT 1、Introduction 2、Chinese Llama And Chinese Alpaca
ChatGLM两代的部署/微调/实现：从基座GLM、ChatGLM的LoRA/P-Tuning微调、6B源码解读到ChatGLM2的微调与实现
结构之法 算法之道
03-31 6万+
随着『GPT4多模态/Microsoft 365 Copilot/Github Copilot X/ChatGPT插件』的推出，绝大部分公司的技术 产品 服务，以及绝大部分人的工作都将被革新一遍类似iPhone的诞生 大家面向iOS编程 有了App Store现在有了ChatGPT插件/GPT应用商店，以后很多公司 很多人面向GPT编程(很快技术人员分两种，一种懂GPT，一种不懂GPT)然ChatGPT/GPT4基本不可能开源了，而通过上文《
2023年的深度学习入门指南(21) - 百川大模型
lusing的专栏
07-28 3531
前面我们用了三节的篇幅介绍了目前最强大的开源模型LLaMA2。这一节我们说一说国产大模型的一个代表，百川大模型。
LLM学习：大模型微调＆蒸馏＆裁剪
2401_85328934的博客
09-26 894
8问LLM本文为了理解预训练变换器（transformer）模型中各层的作用和它们之间的相互作用。具体来说，作者们试图通过一系列实验来探究以下问题：不同层是否使用相同的表示空间？所有层是否都是必需的？中间层是否执行相同的功能？层的顺序是否重要？层是否可以并行运行？某些任务是否比其他任务更依赖于层的顺序？循环是否有助于并行化层？哪些变体对性能的影响最小？实验测试本文对LLM的每一层进行了尝试（赞扬这种打破砂锅问到底的精神❤️）
LLM学习笔记
最新发布
weixin_40103562的博客
10-16 651
常见术语。
开源模型应用落地-qwen2-7b-instruct-LoRA微调-LLaMA-Factory-单机单卡-V100（八）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-21 7975
使用LLaMA-Factory高效微调qwen2-7b-instruct
开源模型应用落地-qwen模型小试-调用Qwen2-VL-7B-Instruct-更清晰地看世界-Lora-V100（四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-26 2万+
使用LLaMA-Factory高效微调qwen2-vl-7b-instruct
llama-factory/peft微调千问1.5-7b-chat
qq_43814415的博客
05-02 3431
本文实现了llama-factory和自己基于peft进行qwen1.5-7b-chat的sft微调，评测。llama-factory兼容了很多加速方法，非常方便；自己写虽然慢，但是对底层的数据组织，处理认识更深。值得一提的是，LLM本质上还是一个分类预测任务，因此也采用CrossEntropyLoss，指数化后就是困惑度参考：1.2.3.4.5.6.7.8.9.
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
ZJQ的博客
07-10 5万+
有关去中心化算路大模型的一些误区：低带宽互连导致训练速度太慢；小容量设备无法生成基础规模的模型；去中心化总是会花费更多；虫群永远不够大
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
ZJQ的博客
07-07 4万+
神经网络和算力共享结合：基于深度学习的算力资源智能分配机制；一种支持跨云、跨边缘计算平台的协同训练框架；模型自适应优化策略
算力共享方案
ZJQ的博客
07-15 4万+
平台的整体方案不但包括集群系统网络、存储、安全、可视化设备、计算服务器等硬件算力资源池的构建而且包含算力调度系统、算力交互门户、算力运行基础环境和算力应用等软件系统构建，这是一个庞大而系统化的工程。在算力资源池规划中，根据需求可分为工业设计、AI研发所需的可视化资源池，科学计算资源池和AI训练推理资源池，这些资源池使用统一的存储空间，按照其业务特性进行个性化网络配置，为平台提供算力基础能力。
Tinygrad，llama3，Reward Model
ZJQ的博客
07-25 4万+
根据公开发布的信息，Llama 3是一款文本生成AI，与OpenAI的GPT和Anthropic的Claude模型类似，用户可以编写文本提示，然后Llama 3会生成相应的文本响应。在复杂的实际应用场景中，设计一个合适的奖励模型并非易事，因此研究如何构建有效的奖励模型成为了强化学习领域的关键技术与挑战。总的来说，Tinygrad是一个轻量级但功能强大的深度学习框架，它以其简洁的设计和易用性吸引了众多开发者的关注。Llama 3是一个“开放权重”模型，意味着模型本身是开源的，提供了一定程度的透明度。
Megatron-LM在训练过程中怎么保证参数传递并保证每块GPU都在工作
ZJQ的博客
07-24 4万+
Megatron-LM通过数据并行、张量并行和流水线并行等多种并行策略的综合运用，确保了训练过程中每块GPU都在工作，实现了高效的并行训练。这种分布式训练框架特别适用于训练超大规模的语言模型，如GPT-3等。
face-api.js：深度学习面部识别模型的应用教程
- ssd_mobilenetv1_model-weights_manifest.json、face_recognition_model-weights_manifest.json、face_landmark_68_model-weights_manifest.json、age_gender_model-weights_manifest.json：上述模型的权重清单...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ZhangJiQun&MXP

等到80岁回首依旧年轻

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值