![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
开源大模型微调
文章平均质量分 53
实现分享开源大模型微调过程
wxl781227
生命如昙花一现,愿每一段行程象如歌的行板,灿烂而又真实!
展开
-
gpt-3.5-turbo-0613微调信用卡分期对话
1、数据准备:jsonl格式。2、安装openai。原创 2023-08-24 12:11:41 · 332 阅读 · 0 评论 -
梦中情炉-torchkeras
</a><a href="https://www.kaggle.com/lyhue1991/kerasmodel-wandb-example"><img src="https://kaggle.com/static/images/open-in-kaggle.svg" alt="Open In Kaggle"></a>转载 2023-07-13 18:28:54 · 269 阅读 · 0 评论 -
Mac(M1Pro)下运行ChatGLM2
最近很多人都尝试在M1/M2芯片下跑chatglm/chatglm2,结果都不太理想,或者是说要32G内存才可以运行。本文使用cpu基于chatglm-cpp运行chatglm2的int4版本。开了多个网页及应用的情况下(包括chatglm2),总体内存占用9G左右。chatglm2可以流畅的运行了。虚拟环境为python 3.10,使用conda 创建。1.安装brew,主要需要安装core及cask。4. 下载chatglm-cpp。8. 安装chatglm-cpp。3. 安装cmake。原创 2023-07-09 16:19:39 · 2357 阅读 · 2 评论 -
大模型落地加速工具-fastllm
model = llm.from_hf(model, tokenizer, dtype = "float16") # dtype支持 "float16", "int8", "int4"- 🚀 目前支持ChatGLM模型,各种LLAMA模型(ALPACA, VICUNA等),BAICHUAN模型,MOSS模型。- 🚀 支持浮点模型(FP32), 半精度模型(FP16), 量化模型(INT8, INT4) 加速。转好的模型也可以导出到本地文件,之后可以直接读取,也可以使用fastllm cpp接口读取。转载 2023-07-07 17:06:11 · 1424 阅读 · 0 评论 -
ChatGLM多轮对话微调-多轮对话训练数据的自动生成(标注)
通常使用大模型进行业务数据微调的时候,需要对历史对话数据进行细粒度的整理,比如:1-3轮对话数据的微调,以便模型能够学会多轮对话。这个时候需要对输入的数据进行数据增强,数据的方法很多,但个人认为对于样本比较少的对话,最有效的方式应该是人工进行标注,即人工写出输入数据prompt的各种可能的语义相似的样本来(根据对数据增强方式的理解,如:释义、采样和加噪),有人说数据增强的方式怎么做也无法与人工标注的效果相比,只适合于写论文,这里不做评价和扩展。仅针对多轮对话进行1-3轮的对话数据自动标注说明。原创 2023-06-02 14:30:13 · 5782 阅读 · 5 评论 -
使用openai 微调催收问答对的尝试
3.准备训练及验证集文件,如:train.json, val.json,其中必须包含"prompt"和"completion"关键字,即提问和答案。4.将json文件转换成jsonl,即转换成行json格式。转换过程中全按推荐的选择Y,节省微调费用。2. 设置openai api key。效果未达到逾期,无法提问输出的结果。1.安装openai依赖。6. 查看训练是否完成。原创 2023-05-11 14:24:28 · 265 阅读 · 0 评论 -
使用Chatglm-6b微调催收问答对的尝试
10.在gpt容器中启动微调训练,根据数据量不同及GPU大小,有所不同,tesla T4 16 G 30个问答对大概要24小时。max_source_length及max_target_length 可以根据实际情况调整,对应的是输出和输出的长度。per_device_train_batch_size根据GPU大小进行调整,如:1,2,4,8,16等。8. 打开localhost:6006/lab,输入token,这样就可以方便的上传文件,修改代码了。9. 进入ptuning修改训练脚本train.sh。原创 2023-05-11 15:06:39 · 1535 阅读 · 7 评论 -
如何微调Chinese-Vicuna-7b模型
环境建议:使用谷歌云GCP,国内的云环境实在是太慢了哦。github慢,pip 慢,下载模型也慢。2. 准备数据 json/jsonl格式。原创 2023-05-19 17:40:31 · 1619 阅读 · 2 评论