CaseCode
关注
分享
扫一扫
文章平均质量分 55
本专栏，包含本博主所有文章应用案例的设计思路、实现代码，以及相关注释等
一个处女座的程序猿
2025年初博主2本新书(机器学习耗时5年/大模型耗时3年)即将开售！人工智能硕学历，拥有十多项发专利(6项)和软著(9项)，包括国际期刊SCI内多篇论文，多个国家级证书(2个国三级、3个国四级)，曾获国内外“人工智能算法”竞赛(包括国家级省市级等，一等奖5项、二等奖4项、三等奖2项)证书十多项，以上均第一作者身份，并拥有省市校级个人荣誉证书十多项。目前也是国内知名博主，连续3年获CSDN十大博客之星，荣获达摩院评测官、阿里社区/CSDN/华为社区等十多个开发者社区专家博主荣誉，曾受邀阿里/华为/谷歌等社区采访-评审-论坛几十次。截止2022年，AI领域粉丝超100万，文章阅读量超5000万
展开
-
LLMs之minimind：minimind源码解读(dpo_train.py)—基于LoRA微调实现DPO微调训练—初始化模型(加载模型与分词器+识别并标记需要进行LoRA的线性层+配置LoRA参数
LLMs之minimind：minimind源码解读(dpo_train.py)—基于LoRA微调实现DPO微调训练—初始化模型(加载模型与分词器+识别并标记需要进行LoRA的线性层+配置LoRA参数+集成LoRA模型+迁移GPU)→配置模型训练参数(输出目录/每个设备的批量大小等)→加载jason格式数据集(利用datasets库)→执行DPO训练(初始化基于trl库的DPO训练器+执行DPO训练)目录minimind源码解读(dpo_train.py)—基于LoRA微调实现DPO微调训练—初原创 2024-09-25 00:50:31 · 1584 阅读 · 0 评论 -
LLMs之minimind：minimind源码解读(lora_sft.py)——基于LoRA技术的因果语言模型微调与训练实现—初始化配置参数(最大序列长度/训练周期数/批处理大小/学习率,设置训练设
LLMs之minimind：minimind源码解读(lora_sft.py)——基于LoRA技术的因果语言模型微调与训练实现—数据集加载→模型初始化→LoRA训练(学习率调度+自动混合精度)→wandb监控→模型保存目录minimind源码解读(lora_sft.py)——基于LoRA技术的因果语言模型微调与训练实现—数据集加载→模型初始化→LoRA训练(学习率调度+自动混合精度)→wandb监控→模型保存minimind源码解读(lora_sft.py)——基于LoRA技术的因果语言模型原创 2024-09-25 00:50:23 · 2126 阅读 · 0 评论 -
LLMs之minimind：minimind源码解读(full_sft.py)——基于PyTorch的分布式混合精度语言模型全参数训练框架
LLMs之minimind：minimind源码解读(full_sft.py)——基于PyTorch的分布式混合精度语言模型全参数训练框架目录minimind源码解读(full_sft.py)——基于PyTorch的分布式混合精度语言模型全参数训练框架minimind源码解读(full_sft.py)——基于PyTorch的分布式混合精度语言模型全参数训练框架# LLMs之minimind：minimind源码解读(full_sft.py)——基于PyTorch的分布式混合精度语言模型全原创 2024-09-25 00:50:13 · 2090 阅读 · 0 评论 -
LLMs之minimind：minimind源码解读(eval.py)——实现基于自定义与预训练Transformer模型的交互式对话生成系统
LLMs之minimind：minimind源码解读(eval.py)——实现基于自定义与预训练Transformer模型的交互式对话生成系统目录minimind源码解读(eval.py)——实现基于自定义与预训练Transformer模型的交互式对话生成系统minimind源码解读(eval.py)——实现基于自定义与预训练Transformer模型的交互式对话生成系统# LLMs之minimind：minimind源码解读(eval.py)——实现基于自定义与预训练Transfor原创 2024-09-25 00:49:37 · 1131 阅读 · 0 评论 -
LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混
LLMs之minimind：minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混合精度优化/梯度累积/梯度裁剪/定期保存模型目录minimind源码解读(pretrain.py)——实现基于Transformer架构的大规模语言模型预训练及wandb监控—支持余弦退火学习率调度/分布式预训练/自动混合精度优化/梯度累积/梯度裁剪/定期保存模型minimind源码解读(pre原创 2024-09-24 01:55:38 · 2555 阅读 · 0 评论 -
LLMs之minimind：minimind源码解读(eval_ceval.py)——基于Transformer模型的自动化选择题考试评估系统(C-Eval)—环境配置(设置随机种子、设备等)→设置模
LLMs之minimind：minimind源码解读(eval_ceval.py)——基于Transformer模型的自动化考试评估系统(C-Eval)—环境配置(设置随机种子、设备等)→设置模型评估模式→设置提示词遵循ChatML格式并设置指令(比如开始回答问题)→数据处理与遍历(遍历目录下的所有CSV文件，每个文件包含若干个测试样例【问题/选项/正确答案】→问题构建(将问题与选项组合成一个完整的prompt，并通过分词器处理生成token序列)→模型推理(通过model.eval_answer生成模原创 2024-09-24 01:40:04 · 1114 阅读 · 0 评论 -
ML之LP：半监督学习应用—利用标签传递算法（Label Propagation）基于自定义社交网络图数据集实现对社交网络来预测未标记用户的类型实战代码
ML之LP：半监督学习应用—利用标签传递算法（Label Propagation）基于自定义社交网络图数据集实现对社交网络来预测未标记用户的类型实战代码目录半监督学习应用—利用标签传递算法（Label Propagation）实现对社交网络来预测未标记用户的类型实战代码半监督学习应用—利用标签传递算法（Label Propagation）基于自定义社交网络图数据集实现对社交网络来预测未标记用户的类型实战代码设计思路与输出结果假设我们有一个社交网络，其中一些用户被标记为“正常”或“垃圾原创 2023-12-16 00:25:37 · 1717 阅读 · 0 评论 -
ML之DT：基于决策树模型对iris鸢尾花数据集利用交叉验证训练并可视化的训练集和测试集的学习曲线进而判断拟合状态(过拟合/欠拟合)
ML之DT：基于决策树模型对iris鸢尾花数据集利用交叉验证训练并可视化的训练集和测试集的学习曲线进而判断拟合状态(过拟合/欠拟合)目录基于决策树模型对iris鸢尾花数据集利用交叉验证训练并可视化的训练集和测试集的学习曲线进而判断拟合状态(过拟合/欠拟合)基于决策树模型对iris鸢尾花数据集利用交叉验证训练并可视化的训练集和测试集的学习曲线进而判断拟合状态(过拟合/欠拟合)输出结果实现代码# ML之DT：基于决策树模型对iris鸢尾花数据集利用交叉验证训练并可视化的训练集原创 2023-12-02 00:06:37 · 1407 阅读 · 1 评论 -
LLMs之RAG：基于LangChain框架+Blendle示例数据(手册)+ChatGPT接口实现与Notion数据库(Notion提供知识内容+Faiss提供快速搜索能力+pkl文件存储和加载Fa
LLMs之RAG：基于LangChain框架+Blendle示例数据(手册)+ChatGPT接口实现与Notion数据库(Notion提供知识内容+Faiss提供快速搜索能力+pkl文件存储和加载Faiss索引)提问并部署到StreamLit前端界面实现QA交互代码实战—解读多个py文件(利用ingest.py文件将从Notion的数据导入到LangChain中+利用qa.py文件实现向Notion数据库提出问题并获取答案和相关资源+利用main.py文件实现利用Streamlit构建的前端界面实现与一原创 2023-10-20 23:39:17 · 1556 阅读 · 0 评论 -
ML：基于boston房价数据集利用多种线性回归算法(OLS/PLS/Lasso/Ridge)模型对比实现房价回归预测应用案例实现代码
ML：基于boston房价数据集利用多种线性回归算法(OLS/PLS/Lasso/Ridge)模型对比实现房价回归预测应用案例实现代码。原创 2023-10-08 23:54:31 · 1154 阅读 · 0 评论 -
LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展、(init_model.py文件)实现过计算均值扩展模型、(prepare_pretr
LLM之Colossal-LLaMA-2：源码解读(init_tokenizer.py文件)实现基于源词表的扩展(中文标记的新词汇)进而实现持续预训练、(init_model.py文件)实现过计算均值来扩展模型的嵌入层以适应新的词汇表，然后保存扩展后的模型、(prepare_pretrain_dataset.py文件)将原始数据集进行处理和切片并保存为JSONL格式和 Arrow格式目录一、源码解读(init_tokenizer.py文件)实现基于源词表的扩展(中文标记的新词汇)进而实现持续预训原创 2023-09-27 23:33:20 · 1637 阅读 · 0 评论 -
LLMs之InternLM-20B：源码解读(train.py文件)—初始化配置→数据预处理(txt/json/jsonl等需转换为bin/meta文件再入模)→模型训练(批处理加载+内存分析+支持在
LLMs之InternLM-20B：源码解读(train.py文件)—初始化配置→数据预处理(txt/json/jsonl等需转换为bin/meta文件再入模)→模型训练(批处理加载+内存分析+支持在特定步数进行验证评估+TensorBoard可视化监控+支持分布式训练【多机多卡训练同步更新】)+模型评估(ACC+PPL)+性能监控(日志记录+性能分析+内存监控等)目录源码解读(train.py文件)# Step1、解析命令行参数# Step2、初始化分布式环境# Step3、初始化原创 2023-09-24 23:18:54 · 1229 阅读 · 0 评论 -
LLMS之GPT-3：基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例实现代码
LLMS之GPT-3：基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例实现代码目录基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例# 1、定义数据集# 2、数据预处理# 3、模型训练与评估实现代码基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-3模型实现模型训练调优应用案例# 1、定义数据集# 2、数据预处理# 2.1、分词和编码# 3、模型训练与评原创 2023-06-09 01:08:40 · 445 阅读 · 0 评论 -
LLMS之GPT-2：基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例实现代码
LLMS之GPT-2：基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例实现代码目录基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例# 0、加载GPT-2预训练模型和分词器# 1、读取文本数据语料库# 2、数据预处理# 3、模型训练实现代码基于大型语料数据集(分词和编码)并进行数据预处理利用GPT-2模型实现模型训练调优应用案例# 0、加载GPT-2预训练模型和分词器#原创 2023-06-09 01:05:41 · 495 阅读 · 0 评论 -
LLMs之LLaMA：在单机CPU+Windows系统上对LLaMA模型(基于facebookresearch的GitHub)进行模型部署且实现模型推理全流程步骤【部署conda环境+安装依赖库+下载
LLMs之LLaMA：在单机CPU+Windows系统上对LLaMA模型(基于facebookresearch的GitHub)进行模型部署且实现模型推理全流程步骤【部署conda环境+安装依赖库+下载模型权重(国内外各种链接)→模型推理】的图文教程(非常详细)目录在Windows环境下的安装部署LLaMA教程0、源自facebookresearch的GitHub链接安装llama1、创建专用的conda环境2、安装依赖库3、下载模型权重4、模型推理在Windows环境下的原创 2023-06-01 00:32:17 · 1455 阅读 · 0 评论