![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLMs
文章平均质量分 95
介绍大模型、提示工程相关知识和资讯
神洛华
这个作者很懒,什么都没留下…
展开
-
Accelerate 0.24.0文档 三:超大模型推理(内存估算、Sharded checkpoints、bitsandbytes量化、分布式推理)
简称 mmap tensors,是PyTorch提供的一种特殊的tensors,它允许将数据存储在磁盘文件中,而不占用宝贵的RAM内存,CPU可以直接对磁盘文件中的数据进行读写操作,就像操作RAM中的tensors一样。同样的,也可以方便创建模型,而无需加载权重。您可以使用 max_memory 参数来限制每个 GPU 和CPU上使用的内存,赋予GPU应该传递标识符(例如 0,1),内存值可以是整数(以字节为单位),也可以是表示数字及其单位的字符串,例如 “10GiB” 或 “10GB”。原创 2023-11-16 15:26:58 · 2894 阅读 · 1 评论 -
Accelerate 0.24.0文档 二:DeepSpeed集成
ZeRONVMe《Hugging Face高效训练技术二:大模型分布式训练策略——ZeRO、FSDP》《Hugging Face高效训练技术三:huggingface DeepSpeed文档》ZeRO(Zero Redundancy Optimizer)是一种用于优化大规模深度学习模型训练的技术。它的主要目标是降低训练期间的内存占用、通信开销和计算负载,从而使用户能够训练更大的模型并更高效地利用硬件资源。ZERO:模型状态,包括包括优化器参数(例如Adam的动量和方差)、梯度、模型参数。原创 2023-11-14 15:46:53 · 2286 阅读 · 0 评论 -
Accelerate 0.24.0文档 一:三万字极速入门
本文介绍了Accelerate的优越性和基本用法,以及一些进阶功能原创 2023-11-12 19:26:12 · 1947 阅读 · 0 评论 -
Zephyr-7B论文解析及全量训练、Lora训练
通过论文介绍了Zephyr-7B的原理、训练过程和训练数据集、实验效果。最后列出其完整训练代码原创 2023-11-11 21:15:33 · 2073 阅读 · 0 评论 -
Hugging Face高性能技术五:Transformer高效推断(bitsandbytes、FlashAttention、 BetterTransformer)
主要介绍了bitsandbytes、FlashAttention、 BetterTransformer等推理优化技术,另外稍微介绍了一下CPU推理优化TorchScript、 IPEX graph optimization、Optimum。原创 2023-11-09 06:15:56 · 1961 阅读 · 0 评论 -
Hugging Face高效训练技术四:多GPU分布式训练(DP、PP、TP 、ZeRO)
介绍了主要的分布式训练策略:数据并行、模型并行、管道并行、张量并行和Zero原创 2023-11-02 23:41:07 · 5172 阅读 · 1 评论 -
Kaggle - LLM Science Exam(四):Platypus2-70B with Wikipedia RAG
使用Wikipedia 数据进行多选问答任务的增强,使用Platypus2-70B模型进行逐层推理原创 2023-10-24 19:20:12 · 420 阅读 · 0 评论 -
Hugging Face高效训练技术三:huggingface DeepSpeed文档
根据HF官方文档,介绍了使用trainer进行deepspeed训练、推理的方法。原创 2023-09-27 17:47:55 · 5013 阅读 · 1 评论 -
Hugging Face高效训练技术二:大模型分布式训练策略——ZeRO、FSDP
介绍了两种大模型分布式训练策略:ZeRO和FSDP。原创 2023-09-23 11:28:02 · 3316 阅读 · 1 评论 -
LLMs资源
是一个专注于Llama模型在中文方面的优化和上层建设的高级技术社区,包括中文语料、模型部署、微调等。原创 2023-09-22 21:43:25 · 214 阅读 · 0 评论 -
ChatGLM2-6B 部署与微调
此时为INT4 量化模型,且每次训练会以 1 的批处理大小进行 16 次累加的前后向传播(batch_size=1,累积16次才进行梯度回传,更新参数),等效为 16 的总批处理大小,此时最低只需 6.7G 显存。若想在提升训练效率,可在二者乘积不变的情况下,加大。该大语言模型基于之前提出的GLM(General Language Model),在Norm处理、激活函数、Mask机制等方面进行了调整,目的是训练出开源开放的高精度千亿中英双语稠密模型,能够让更多研发者用上千亿模型。原创 2023-09-22 00:20:23 · 6850 阅读 · 2 评论 -
吴恩达&OpenAI最新课程:prompt-engineering-for-developers读书笔记
介绍了prompt的一些基本准则,并介绍了ChatGPT API的一些应用,最后构建了一个聊天机器人原创 2023-05-15 19:15:17 · 4645 阅读 · 1 评论 -
ChatGLM 大模型应用构建 & Prompt 工程
本次报告旨在从理论技巧和案例等多个角度,剖析大模型应用构建和指令工程。报告将结合大模型行业的探索经验,深入介绍Chat GLM的功能,并探讨如何最大化其优势。最终目标是为企业找到适合的大模型产品技术方案,以实现成功的落地应用。原创 2023-09-19 21:13:55 · 5099 阅读 · 2 评论 -
大模型高效微调综述下: DiffPruning、BitFit、LoRa、AdaLoRA、MAM Adapters、UniPELT
本文介绍了PEFT中Selective Methods的DiffPruning、 BitFit;重参数化方法中的LoRA和AdaLoRA;以及混合方法中的MAM Adapters和UniPELT。分类方法见PEFT综述论文《Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning》原创 2023-06-23 19:15:48 · 2403 阅读 · 0 评论 -
大模型高效微调综述上:Adapter Tuning、AdaMix、PET、Prefix-Tuning、Prompt Tuning、P-tuning、P-tuning v2
PEFT高效参数微调)方法可以通过多种方式进行分类,本文介绍了第一大类 additive中的常见方法。原创 2023-06-21 21:13:13 · 4651 阅读 · 1 评论 -
基于LangChain的优秀项目资源库
本文主要内容是一个LangChain资源库,里面罗列了大大小小很多个基于LangChain框架的优秀项目,包括低代码、服务、代理、模板等工具类,还有像知识管理、聊天机器人等开源项目,还包括像视频、文章等AI学习资源,建议大家点赞收藏。转载 2023-06-23 07:51:50 · 5386 阅读 · 0 评论 -
LLMs模型速览(GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca)
本文介绍了一些LLMs基础模型和微调模型,例如GPTs、LaMDA、GLM/ChatGLM、PaLM/Flan-PaLM、BLOOM、LLaMA、Alpaca原创 2023-06-18 16:46:18 · 11384 阅读 · 5 评论