![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Pytorch
文章平均质量分 75
Macropodus
最后一次为理想而战。安知南山桂,绿叶垂芳根。何须浅碧深红色,自是花中第一流。
展开
-
Gemma谷歌(google)开源大模型微调实战(fintune gemma-2b/7b)
Gemma-SFT(谷歌, Google), gemma-2b/gemma-7b微调(transformers)/LORA(peft)/推理。原创 2024-02-26 15:58:08 · 3806 阅读 · 7 评论 -
pytorch-textregression,中文文本回归实践,支持多值输出
pytorch-textregression是一个以pytorch和transformers为基础,专注于中文文本回归的轻量级自然语言处理工具,支持多值回归等。原创 2024-02-20 16:31:46 · 623 阅读 · 0 评论 -
chatglm3-6b微调实战
chatglm3-6b, chatglm-3b微调/LORA/推理/单机多卡/deepspeed/支持多轮对话。原创 2023-12-04 10:47:20 · 1596 阅读 · 0 评论 -
Qwen-7B微调实例
阿里通义千问(Qwen-7B-Chat/Qwen-7B), 微调/LORA/推理。原创 2023-08-23 11:28:25 · 3337 阅读 · 1 评论 -
LlaMA2微调实战
LLaMA2-SFT, Llama-2-7B微调(transformers)/LORA(peft)/推理。原创 2023-07-28 10:38:54 · 1182 阅读 · 0 评论 -
LLM-SFT,新微调数据集-MWP-Instruct(多步计算 + 一、二元方程),微调Bloom, ChatGLM, LlaMA(支持QLoRA, TensorBoardX)
中文大模型微调(LLM-SFT), 支持模型(ChatGLM, LlaMA, Bloom), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX), 支持(微调, 推理, 测评, 接口)等.原创 2023-06-12 23:00:54 · 1031 阅读 · 0 评论 -
大模型 LLM 综述, A Survey of Large Language Models
一般认为NLP领域的大模型>=10 Billion参数(也有人认为是6B、7B, 工业界用, 开始展现涌现能力);经典大模型有GPT-3、BLOOM、Flan-T5、GPT-NeoX、OPT、GLM-130B、PaLM、LaMDA、LLaMA等;大模型时间线, 图来自,下同。原创 2023-06-08 10:29:53 · 2820 阅读 · 0 评论 -
不乱码、下载 Transformers 模型 (抱抱脸、model)
目的: 因为需要对预训练模型等做一些查看、转移操作,不想要乱码,不想频繁下载模型等;原创 2023-04-13 17:11:46 · 1861 阅读 · 0 评论 -
国产开源类ChatGPT模型,ChatGLM-6b初步微调实验
chatglm-6b微调/推理, 样本为自动生成的整数/小数加减乘除运算, 可gpu/cpu。原创 2023-03-22 11:07:14 · 8708 阅读 · 6 评论 -
pytorch模型(.pt文件)转tensorflow(.pb文件)
需求: pytorch1.x的模型(.pt文件)转tensorflow1.x/2.x的模型(.pb文件—savedmodel格式);目的: pytorch进行实验等, tf-serving部署最后的模型;原创 2022-12-14 18:00:53 · 1988 阅读 · 0 评论 -
pytorch-textclassification是一个专注于中文文本分类(多类分类、多标签分类)的轻量级自然语言处理工具包,基于pytorch和transformers,包含各种实验
pytorch-textclassificationpytorch-textclassification是一个以pytorch和transformers为基础,专注于文本分类的轻量级自然语言处理工具包。支持中文长文本、短文本的多类分类和多标签分类。目录数据使用方式paper参考数据数据来源所有数据集均来源于网络,只做整理供大家提取方便,如果有侵权等问题,请及时联系删除。baidu_event_extract_2020, 项目以 2020语言与智能技术竞赛:事件抽取任务中原创 2021-08-29 12:40:50 · 3124 阅读 · 2 评论 -
Pytorch-NLU,一个中文文本分类、序列标注(实体识别、分词、词性标注)的极简工具包,基于pytorch与tramsforers
Pytorch-NLUPytorch-NLU是一个只依赖pytorch、transformers、numpy、tensorboardX,专注于文本分类、序列标注的极简自然语言处理工具包。支持BERT、ERNIE、ROBERTA、NEZHA、ALBERT、XLNET、ELECTRA、GPT-2、TinyBERT、XLM、T5等预训练模型;支持BCE-Loss、Focal-Loss、Circle-Loss、Prior-Loss、Dice-Loss、LabelSmoothing等损失函数;具有依赖轻原创 2021-08-29 12:12:41 · 2871 阅读 · 8 评论 -
pytorch版损失函数,改写自科学空间文章,【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】
pytorch-losspytorch版损失函数,改写自科学空间文章,【通过互信息思想来缓解类别不平衡问题】、【将“softmax+交叉熵”推广到多标签分类问题】通过互信息思想来缓解类别不平衡问题将“softmax+交叉熵”推广到多标签分类问题1. Prior-BCEclass PriorMultiLabelSoftMarginLoss(nn.Module): def __init__(self, prior=None, num_labels=None, reduction="mean原创 2021-08-22 14:38:30 · 1383 阅读 · 2 评论