![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 61
yuanlulu
做过嵌入式Linux开发、深度学习平台开发。擅长c++和python。
展开
-
昇腾环境下使用docker部署mindie-service
MindIE是基于昇腾硬件的运行加速、调试调优、快速迁移部署的高性能深度学习推理框架。它包含了MindIE-Service、MindIE-Torch和MindIE-RT等组件。我主要用MindIE-Service的功能,这个组件对标的是vllm这样的大语言推理框架。原创 2024-07-08 20:22:45 · 393 阅读 · 0 评论 -
使用vllm部署大语言模型
vLLM是一个快速且易于使用的库,用于LLM(大型语言模型)推理和服务。通过PagedAttention技术,vLLM可以有效地管理注意力键和值内存,降低内存占用和提高计算效率。vLLM能够将多个传入的请求进行连续批处理,从而提高整体处理速度。原创 2024-07-08 19:32:37 · 529 阅读 · 0 评论 -
在昇腾服务器上使用llama-factory对baichuan2-13b模型进行lora微调
LoRA 提出在预训练模型的参数矩阵上添加低秩分解矩阵来近似每层的参数更新,从而减少适配下游任务所需要训练的参数。原创 2024-07-02 18:22:01 · 1146 阅读 · 0 评论 -
什么是指令微调(LLM)
经过大规模数据预训练后的语言模型已经具备较强的模型能力,能够编码丰富的世界知识,但是由于预训练任务形式所限,这些模型更擅长于文本补全,并不适合直接解决具体的任务。指令微调是相对“预训练”来讲的,预训练的时候是使用大量无标注的文本,让模型每次都预测下一个字符的方式来训练。而指令微调也可以叫“监督微调”,也就是对于输入文本有标准答案,用标准答案来训练模型。一般预训练完毕后就要进行指令微调,经过指令微调后,大语言模型能够展现出较强的指令遵循能力,可以通过零样本学习的方式解决多种下游任务。原创 2024-06-28 18:25:03 · 1003 阅读 · 0 评论 -
将huggingface的大模型转换为safetensor格式
很多huggingface的大语言模型都是pytorch的格式,但是mindie需要safetensor格式,另外mindieservice加载原始的baichuan2-13b的模型出错,后来排查是bfloat16数据格式的问题,所以这次转换要一次性转为float16的格式。看下模型下的config.josn文件,可以看到torch_dtype已经变为float16格式,转换之前这里是bfloat16。可以看到多了safetensor结尾的模型,原来bin后缀的也没删。原创 2024-06-27 14:07:24 · 209 阅读 · 0 评论 -
解决llama-factory运行中的No module named ‘_bz2‘和No module named ‘_lzma‘
在llama-factory执行lora微调时,按照手册安装了依赖,微调还是遇到错误。可以看到我出错的代码位于/usr/local/python3.10.2。这个库是有的,但是位置是/usr/lib/python3.10/我是在华为昇腾训练服务器的docker内遇到的。,我用类似的方法一并解决了。原创 2024-06-27 11:06:19 · 290 阅读 · 0 评论 -
在昇腾开发环境合并baichuan2-13B模型的lora文件
别人使用lora的方式对baichuan2-13b的模型进行了微调训练,希望我能部署到mindie服务中。"base_model_name_or_path": "/home/xxxxx/baichuan-inc/Baichuan2-13B-Chat", #这里是微调基础模型路径。。。。。。。。。。原创 2024-06-24 18:00:25 · 405 阅读 · 0 评论 -
LLM中的few-shot是什么意思
我上篇博客写了我做的测试Baichuan2-13B模型的一些工作,测试过程免不了要修改代码,在代码中接触了下所谓的few-shot。比如,所谓2-shot,就是在提示词里提供两个问题和答案,让大模型以为自己回答过问题,后面生成文本会参考前面的内容。2-shot的提示词如下:而0-shot,或者zero-shot在正式的问题前面就没有追加的例子。原创 2024-05-22 16:36:06 · 250 阅读 · 0 评论 -
baichuan2-13b-base的C-Eval得分简析
可以看到偏记忆、偏文的容易得高分,偏理工科(特别是数学)容易得低分,数学的得分和瞎猜差不多,四个选项随机选也能得0.25左右啊。最终平均得分0.587。原创 2024-05-22 16:15:27 · 454 阅读 · 0 评论