![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
LLM
文章平均质量分 82
Macropodus
最后一次为理想而战。安知南山桂,绿叶垂芳根。何须浅碧深红色,自是花中第一流。
展开
-
LLaMA3(Meta)微调SFT实战Meta-Llama-3-8B-Instruct
LlaMA3-SFT, Meta-Llama-3-8B/Meta-Llama-3-8B-Instruct微调(transformers)/LORA(peft)/推理。原创 2024-04-29 10:02:07 · 2273 阅读 · 0 评论 -
Qwen2(Qwen1.5阿里)微调实战qwen1.5-7b
Qwen1.5-SFT(阿里, Ali), Qwen_Qwen1.5-2B-Chat/Qwen_Qwen1.5-7B-Chat微调(transformers)/LORA(peft)/推理。原创 2024-04-02 18:46:58 · 2280 阅读 · 0 评论 -
Gemma谷歌(google)开源大模型微调实战(fintune gemma-2b/7b)
Gemma-SFT(谷歌, Google), gemma-2b/gemma-7b微调(transformers)/LORA(peft)/推理。原创 2024-02-26 15:58:08 · 3806 阅读 · 7 评论 -
从零开始训练一个ChatGPT大模型(低资源,1B3)
大模型全量预训练(1b3), 多卡deepspeed/单卡adafactor。原创 2023-12-05 09:27:11 · 1223 阅读 · 0 评论 -
chatglm3-6b微调实战
chatglm3-6b, chatglm-3b微调/LORA/推理/单机多卡/deepspeed/支持多轮对话。原创 2023-12-04 10:47:20 · 1596 阅读 · 0 评论 -
Qwen-7B微调实例
阿里通义千问(Qwen-7B-Chat/Qwen-7B), 微调/LORA/推理。原创 2023-08-23 11:28:25 · 3337 阅读 · 1 评论 -
LlaMA2微调实战
LLaMA2-SFT, Llama-2-7B微调(transformers)/LORA(peft)/推理。原创 2023-07-28 10:38:54 · 1182 阅读 · 0 评论 -
chatglm2-6b微调实战
chatglm2-6b, chatglm-6b微调/LORA/推理。原创 2023-07-03 08:45:08 · 1811 阅读 · 1 评论 -
LLM-SFT,新微调数据集-MWP-Instruct(多步计算 + 一、二元方程),微调Bloom, ChatGLM, LlaMA(支持QLoRA, TensorBoardX)
中文大模型微调(LLM-SFT), 支持模型(ChatGLM, LlaMA, Bloom), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微调, 推理, 测评, 接口)等.原创 2023-06-12 23:00:54 · 1031 阅读 · 0 评论 -
大模型 LLM 综述, A Survey of Large Language Models
一般认为NLP领域的大模型>=10 Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力);经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等;大模型时间线, 图来自,下同。原创 2023-06-08 10:29:53 · 2820 阅读 · 0 评论 -
国产开源类ChatGPT模型,ChatGLM-6b初步微调实验
chatglm-6b微调/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu。原创 2023-03-22 11:07:14 · 8708 阅读 · 6 评论 -
国产开源ChatGPT模型对比
# 国产开源ChatGPT模型对比(大雾)## 概述为什么要做国产开源ChatGPT模型对比呢(大雾),答案显而易见嘛。最近尤其是这阵子ChatGPT爆火, 2月3日在ChatGPT推出仅两个月后,它在2023年1月末的月活用户已经突破了1亿,成为史上用户增长速度最快的消费级应用程序。而要达到这个用户量,TikTok用了9个月,Instagram则花了2年半的时间。作为一款聊天机器人,凭借大规模预训练模型GPT3.5(~100B参数)、指令微调尤其是人类反馈强化学习微调(RLHF,OpenAI在强化原创 2023-02-09 23:50:20 · 8035 阅读 · 0 评论