- 博客(10)
- 收藏
- 关注
RSS订阅原创 书生·浦语大模型训练营学习汇总
【书生·浦语大模型实战营第五课笔记 - CSDN App】http://t.csdnimg.cn/EBXlT。【书生·浦语大模型实战营第四课作业 - CSDN App】http://t.csdnimg.cn/yCsaP。【书生·浦语大模型实战营第五课作业 - CSDN App】http://t.csdnimg.cn/fmTwn。【第六节课作业 - CSDN App】http://t.csdnimg.cn/2Zh3K。
2024-01-29 10:01:08
202
原创 书生·浦语大模型实战营第五课作业
KV Cache 量化是指将逐 Token（Decoding）生成过程中的上下文 K 和 V 中间结果进行 INT8 量化（计算时再反量化），以降低生成过程中的显存占用。4bit Weight 量化，将 FP16 的模型权重量化为 INT4，Kernel 计算时，访存量直接降为 FP16 模型的 1/4，大幅降低了访存成本。在这个命令行中，会选择 128 条输入样本，每条样本长度为 2048，数据集选择 C4，输入模型后就会得到上面的各种统计值。每一层每个位置的输入都有对应的统计值，它们大多是。
2024-01-18 11:28:07
1120
1
原创 书生·浦语大模型实战营第四课
为什么要微调：当大语言模型运用到实际生活中或是在某个垂直的领域时，大语言模型的回答是不尽人意的。此时我希望模型能够回答出我们想要的结果，我们就需要对模型的参数进行调整，而大语言模型参数量十分庞大，想要将这个模型的参数都进行调整是比较困难的，所以才有了以下两种相对容易的微调方式。微调方式一：增量预训练让模型学习到新的知识，如某个垂域的常识。微调方式二：指令跟随通过对pretrained模型进行额外的指令微调开发者可以专注于数据内容不必花费精力处理复杂的数据格式（👌）
2024-01-12 09:56:16
574
1
原创 第三节课基于InterleavinLM和LangChain搭建你的知识库
知识数据库方面：1.提取文档为Text格式。3.使用sentences transform将Chunks转化为向量格式。输入：1.使用sentences transform将输入转换为统一维度的向量。2.在数据库中对输入向量进行相似度的匹配。核心内容：1.不同的文段加载。4.向量化选用模型和数据知识库的选用。RAG的特点:外挂知识库+知识库检索功能+提问——>大模型——>结果。3.将相似的文段嵌入prompt template中最后输入给模型。FineTune:在一个较小的、新的数据集上进行微调。
2024-01-10 11:03:50
539
原创 书生·浦语大模型实战营第二课
大模型通常指的是机器学习或人工智能领域中参数数量巨大、拥有庞大计算能力和参数规模的模型。这些模型利用大量数据进行训练，并且拥有数十亿甚至数千亿个参数。大模型的出现和发展得益于增长的数据量、计算能力的提升以及算法优化等因素。这些模型在各种任务中展现出惊人的性能，比如自然语言处理、计算机视觉、语音识别等。这种模型通常采用深度神经网络结构，如BERTGPT（ Generative Pre-trained Transformer ）等。
2024-01-07 20:49:14
376
原创 书生·浦语大模型实战营第一课
XTuner微调框架：支持部分微调和全部微调以及多种微调算法，适配多种开源生态，支持自动加速优化，适配多种硬件（NVIDIA 20 系以上的显卡均有训练方案） 同时最低只需8GB现存即可微调7B模型。从多个维度、多个细分领域评测，是一个十分全面的评测体系。针对大预言模型的特点，以及已知的一些挑战，做出的一些技术优化。提供了大模型部署的全流程解决方案，包含模型轻量化、推理和服务。开箱即用：支持多中规格的模型，简单修改配置即可训练。特点：多模态融合，精细化处理，价值观对齐。简单易扩展的工具，支持丰富的工具。
2024-01-04 16:31:33
382
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人