- 博客(20)
- 收藏
- 关注
RSS订阅原创 14.Lora微调Qwen-2.5-7B-Instruct全流程(llamafactory框架）
本文介绍了在AutoDL云平台上部署和微调Qwen2.5-7B大模型的全过程。首先在AutoDL购买GPU实例，然后通过Xshell和Xtfp工具上传数据集到指定目录。重点说明了如何修改dataset_info.json文件注册自定义数据集，包括定义数据集名称、文件路径和数据列映射关系。接着详细描述了通过WebUI界面进行模型微调的步骤：包括设置SSH连接、选择模型路径、配置Lora秩等参数，并解决了deepspeed版本不兼容的问题。最后生成的Lora模型文件保存在指定目录中，可用于后续测试和对话应用。整
2026-03-23 12:46:40
529
原创 13.Q-lora微调演示
本文介绍了使用Q-LoRA方法微调DeepSeek-R1-1.5B-Distill模型的金融领域实践。通过81条金融数据集进行50个epoch的8-bit量化训练，使用SwanLab监控训练过程。结果显示微调后模型回答更简洁专业，但对金融知识的理解仍受限于训练数据量。文章详细解析了黄金ETF、财务杠杆等金融术语，并对比了微调前后模型在REITs、CDS等概念解释上的差异。实验表明，小数据集更适合优化语言风格，而知识准确性提升需要更大规模数据。最后总结了量化训练参数配置和金融问答效果，建议实际应用需准备更丰富
2026-03-23 12:46:20
365
原创 12. llama-factory日志监控
本文对比了三种训练日志方案：1）默认日志自动生成基础信息并存储至saves目录，包含运行日志、损失曲线等文件；2）SwanLab提供云端可视化监控，需注册账号并配置APIKey；3）TensorBoard作为专业级本地监控工具，需处理复杂的版本兼容问题。三者各有优劣：默认日志简单但可视化有限，SwanLab支持多端访问但依赖云端，TensorBoard功能强大但配置复杂。用户可根据实际需求选择适合的方案，平衡便捷性与功能深度。
2026-03-22 09:53:05
246
原创 11.大模型微调理论方法介绍
文章摘要：本文系统介绍了大模型微调方法，包括全量参数微调、冻结微调和高效微调三大类。全量微调虽性能最优但资源消耗大；冻结微调通过固定底层参数实现高效训练；高效微调重点介绍了Adapter、Prefix/Prompt Tuning和LoRA等方法，其中LoRA通过低秩分解在效果、稳定性和资源消耗方面表现最佳。文章还探讨了QLoRA量化技术，通过4-bit量化和混合精度训练显著降低显存需求。这些方法为不同场景下的模型微调提供了灵活选择，在保持预训练知识的同时提升下游任务性能。
2026-03-22 09:52:20
385
原创 10.大模型json数据集构建
摘要：本文介绍了金融文本情感分析数据集的构建与转换过程。首先从Excel文件读取原始数据，包含文本内容和情感标签（-1,0,1）。通过标签映射将数字标签转换为中文（负面/中性/正面），并构建符合Alpaca格式的数据集（包含指令、输入文本和输出标签）。最终将处理后的数据以JSONL格式保存，每条数据包含指令"请判断以下金融文本的情感倾向"，以及对应的文本输入和情感输出结果。该数据集可用于金融领域的情感分析模型训练。
2026-03-21 23:14:32
17
原创 9.llamafactory数据集
大模型微调实践面临数据与算力双重挑战：1）数据瓶颈表现为原生数据存在隐私/清洗难题，衍生数据成为主流解决方案；2）微调本质是参数重分配，需平衡新能力获取与原有能力保留。关键实践要点包括：优先选择Chat/Instruct模型而非Base模型，按任务类型构建数据集（模式调整需少量数据，知识注入需大量专业数据），严格遵循Alpaca/ShareGPT格式规范。硬件配置需匹配模型规模（如7B模型需20GB显存），建议采用混合训练策略（如金融领域50%+其他能力均衡分配）以维持模型通用性。
2026-03-21 23:13:31
312
原创 8.llamafactory-webui难点参数理论
摘要： LLaMA-Factory WebUI提供简易训练界面，支持主流模型的拖拉拽配置、多样化量化模式（如4bit/8bit）和训练可视化。核心功能包括模型选择（100+LLM）、微调方法（如LoRA）、量化设置及训练阶段切换。调参难点涉及量化类型（BitsAndBytes/HQQ/EETQ）、训练阶段（SFT/RewardModeling）、学习率调节器（Warmup/余弦衰减）、RoPE插值方法（动态/YaRN）及加速策略（FlashAttention2/Unsloth）。重点区分量化数据依赖、预训练
2026-03-19 11:03:39
303
原创 7.llamafactory面板配置与训练推理
本文详细介绍了LLaMAFactory面板的配置与使用流程，包括服务器连接、模型参数设置、训练启动和结果分析等关键环节。重点说明了模型路径配置、量化等级选择、梯度范数限制等参数设置要点，以及LoRA微调方法、DeepSpeed加速等优化技术。同时提供了训练监控、模型保存、推理验证等操作指南，并针对常见问题如显存不足、精度下降等给出了解决方案。通过完整的配置-训练-验证流程，帮助用户高效完成模型微调任务，适用于Qwen等大语言模型的开发与应用场景。
2026-03-19 11:02:54
669
原创 6.llamafactory项目介绍与安装部署
摘要：AutoDL提供学术资源加速服务，解决GitHub和HuggingFace访问慢的问题。主流微调框架包括HuggingFace Transformers、PEFT、LLaMA-Factory等，其中LLaMA-Factory支持多种大语言模型，安装需Python 3.10、PyTorch 2.6.0等。硬件要求根据模型大小和微调方法不同，显存需求从6GB到120GB不等。课程以LLaMA-Factory为教学框架，支持通义千问等模型下载和微调。
2026-03-15 16:09:46
854
原创 5.云算力租赁介绍
AutoDL云算力租赁平台为用户提供便捷的深度学习训练环境。平台支持微信/短信登录，提供V100、RTX4090等显卡选择，建议充值50-100元练习使用。用户可创建服务器实例，通过JupyterLab开发环境操作，需注意CUDA版本兼容性和数据存储位置（系统盘关机保留，数据盘不保留）。平台要求实名认证，严禁挖矿等违规行为。LLaMAFactory运行需PyTorch 2.0+，不同模型对显存有不同要求（7B需10GB，70B需80GB）。
2026-03-15 16:08:12
180
原创 4.大模型本地微调环境搭建-cuda、cudann安装
本文介绍了GPU工具包的安装与配置流程。首先通过nvidia-smi和nvcc-V命令检查CUDA驱动和编译器版本，确保版本匹配（CUDA版本需低于驱动版本）。Windows系统需从NVIDIA官网下载匹配版本的CUDA工具包，选择exe文件安装并解决Visual Studio依赖问题。配置cuDNN时需要注册账号，下载对应版本后将其文件复制到CUDA目录，并通过bandwidthTest.exe和deviceQuery.exe验证安装。最后提供了Anaconda的清华镜像下载地址。整个过程强调版本匹配和安
2026-03-13 10:01:22
423
原创 3.大模型主流显卡介绍与选择
显卡选择需关注显存大小（如H200的141GB显存）、张量核心、混合精度支持（FP16训练/FP32存储）及NVLink互连带宽。主流型号包括NVIDIA H系列（H100/H200）、A系列（A100）和消费级显卡（RTX4090/3090）。选卡建议：入门用RTX4060Ti，研究用RTX4090，企业训练用H800/A800集群。大模型部署成本高昂（数百万），学习可用消费级显卡。NVIDIA凭借CUDA生态主导市场，AMD/Intel正在追赶。重点：显存决定模型规模，混合精度原理及多卡通信差异。
2026-03-13 10:00:46
357
原创 2.大模型微调难点与挑战
大模型微调面临三大核心挑战：数据、成本与更新问题。数据方面存在高质量标注成本高（OpenAI耗资数亿）、同质化严重（如DeepSeek回答趋同）、小样本学习难等痛点；硬件成本惊人（67B模型需96张A100，超千万投入），50%微调尝试效果不佳；版本更新依赖RAG技术，传统增量学习效果有限。行业正探索世界模型自动生成数据、文本聚类清洗等技术方案，建议从小模型入手控制风险。关键案例包括DeepSeek模型争议、合同审查数据构建难等，凸显技术瓶颈与商业落地挑战。
2026-03-12 15:05:09
301
原创 1.大模型训练主要阶段与应用价值
摘要：大模型可分为云侧（如通义千问）和端侧（如GPT-Toss20B）两类，分别面向云端服务和终端设备。训练过程包含预训练、有监督微调、强化学习三阶段，其中预训练消耗资源最大。微调能实现知识灌注、任务适配等价值，但无法突破模型参数上限或改变基础架构。大模型存在幻觉问题，微调可缓解但无法根除。端侧模型通过蒸馏技术已能接近大模型性能，30B与600B模型在部分场景差异已不明显。
2026-03-12 14:56:25
382
原创 AutoDL+Xshell+Xtfp+部署Qwen2.5-7B大模型
本文介绍了在AutoDL平台上租用GPU服务器运行Qwen2.5-7B模型的具体步骤。主要内容包括：1）注册AutoDL账号并完成实名认证；2）选择RTX4090等24GB显存显卡创建实例；3）通过Xshell等工具连接服务器；4）安装必要的Python库和环境配置；5）通过ModelScope或HF镜像下载Qwen2.5-7B模型；6）操作注意事项及关机重启流程。重点说明了如何将工作目录迁移到数据盘以避免空间不足，并详细列出了环境初始化、依赖安装等关键命令。
2026-03-10 21:34:24
892
原创 东方财富股吧评论scrapy爬取全流程
本文介绍了使用Scrapy+MongoDB+IP代理池爬取东方财富股吧评论的全流程。主要内容包括：1）准备工作，需先爬取帖子标题信息；2）使用快代理IP代理池应对反爬；3）Scrapy项目创建和配置，包括爬虫代码、中间件和管道；4）实现断点续爬功能，通过MongoDB标记已爬取帖子；5）动态存储评论数据，按股票代码分集合存储。代码实现了评论和子评论的抓取，包含错误重试机制和随机UserAgent，通过代理IP提高爬取成功率。最终数据存储在MongoDB中，方便后续分析使用。
2026-03-02 20:29:33
826
原创 东方财富股吧帖子+评论爬取selenium全流程
本帖子参考于，因为我下载chrome下载不了所以我采用edge进行修改，这篇沿用采用的帖子对改代码进行修改，我用这个代码爬取了50个上证热门股票的标题，时间稍慢，用了1天爬取每个100页，建议爬取内容不多的朋友可以采用这个进行，如果需要爬取很多评论，可以参考我后面出的scrapy爬取评论的帖子，这个爬取评论时间会有些久。一编，不会上传代码，直接写代码在这里吧。
2026-03-02 19:11:51
915
原创 ESG评分与企业绩效之间的关系
财务绩效（ROA）。目前学术界对财务绩效的衡量没有一致的标准，研究主要聚焦于 经营绩效指标，其中包括总资产收益率、净资产收益率和投入资本回报率等代表性指标， 以及市场绩效指标，如托宾 Q 和市场增加值等代表性指标。
2024-06-02 23:50:48
44
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人