训练开发
文章平均质量分 86
训练开发
hiascend
这个作者很懒,什么都没留下…
展开
-
【大模型系列 07】MiniGPT-4 for PyTorch 昇腾迁移
MiniGPT-4使用一个投影层将来自BLIP-2的冻结视觉编码器与冻结的LLM Vicuna对齐。通过两个阶段来训练MiniGPT-4,先是用500万图文对训练,然后再用一个3500对高质量数据集训练。原创 2023-07-28 19:48:33 · 343 阅读 · 0 评论 -
【大模型系列 04】Chat-GLM-6B for PyTorch 昇腾迁移
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于架构,具有 62 亿参数。本仓支持P-Tuning v2 和全参数fintune。原创 2023-07-28 19:35:10 · 972 阅读 · 0 评论 -
【大模型系列 06】LLaMA-7B/13B for PyTorch 昇腾迁移
LLaMA是由Meta AI发布的大语言系列模型,完整的名字是Large Language Model MetaAI。LLaMA按照参数量的大小分为四个型号:LLaMA-7B、LLaMA-13B、LLaMA-30B与LLaMA-65B。LLaMA模型的效果极好,LLaMA-13B在大多数基准测试中的表现都优于GPT-3(175B),且无需使用专门的数据集,只使用公开可用的数据集即可至训练至最优。本工程基于FastChat仓,主要聚焦于LLaMA-7B/13B模型。原创 2023-07-28 19:45:35 · 2937 阅读 · 1 评论 -
【大模型系列 05】GLM-10B for PyTorch 昇腾迁移
GLM是一个用自回归完型填空目标预训练的通用语言模型,可以在各种自然语言理解和生成任务中进行微调。原创 2023-07-28 19:41:47 · 446 阅读 · 0 评论 -
【大模型系列 03】Stable Diffusion 2.1 for PyTorch 昇腾迁移
StableDiffusion 是 StabilityAI公司于2022年提出的图片生成的预训练模型,论文和代码均已开源,下游任务包括文生图、图生图、图片压缩等等。原创 2023-07-28 19:29:54 · 1087 阅读 · 1 评论 -
【大模型系列 02】Diffusion For PyTorch 昇腾迁移
扩散模型 (Diffusion Models) 是一种生成模型,可生成各种各样的高分辨率图像。Diffusers 是Huggingface发布的模型套件,包含基于扩散模型的多种下游任务训练与推理,可用于生成图像、音频,甚至分子的 3D 结构。原创 2023-07-28 19:23:02 · 578 阅读 · 0 评论 -
【大模型系列 01】ChatGLM-6B 昇腾迁移
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。原创 2023-07-13 10:02:54 · 1213 阅读 · 0 评论