- 博客(16)
- 收藏
- 关注
RSS订阅原创 第3讲 Dify的功能构成
Dify提供了五种主要应用类型：工作流（复杂自动化流程）、Chatflow（结构化对话）、聊天助手（基于提示词的对话）、Agent（自主决策）和文本生成应用。这些应用之间存在层级关系，工作流是最灵活的基础架构。用户可通过三种方式创建应用：创建空白应用（完全自定义）、使用模板（快速起步）或导入DSL文件（便于迁移和共享）。Dify的可视化界面帮助用户快速将大语言模型能力转化为实际应用。
2026-01-05 10:47:39
61
原创 第4讲 Code LLMs任务评估指标系统详解
参考文献：《From Code Foundation Models to Agents and Applications: A Comprehensive Survey and Practical Guide to Code Intelligence》核心洞察：代码大模型评估已发展为多维度、多层次的复杂体系，从基础的字符串匹配到高级的执行验证和语义分析，每种指标都有其特定的数学基础和适用场景。🧮 详细指标分类与数学原理🔍 1. 基于传统指标的扩展✅ CodeBLEU● 适用任务：代码生成、代
2026-01-05 10:46:46
82
原创 第3讲 Code LLMs训练方法及训练数据集
本文系统综述了代码大语言模型的训练方法与发展趋势。训练过程分为预训练和后训练两阶段：预训练通过自监督学习建立基础能力，后训练通过微调、强化学习等优化专业性能。关键训练任务包括NextTokenPrediction、Fill-in-the-Middle等。数据集方面，TheStack、StarCoder等大规模开源数据集成为主流，垂直领域数据集构建强调质量过滤与功能验证。未来趋势呈现专业化、代理化特点，注重工具调用、环境交互等实用能力，同时强调数据质量、安全合规和持续迭代。研究表明，针对具体场景的专用模型训练
2026-01-05 09:00:00
113
原创 第2讲 Code LLMs核心架构、模型对比与未来展望
摘要：本文系统梳理了代码大语言模型的发展历程与技术演进。通用语言大模型经历了从专用系统到统一Transformer框架的转变，展现出代码理解与智能体行为两大关键能力，但在专业软件工程领域仍存在准确性、安全性和系统级可靠性的局限。代码专用大语言模型（CodeLLMs）应运而生，包括闭源和开源两大分支，架构创新从密集模型向混合专家（MoE）、循环模型等多样化发展。未来趋势将聚焦从通用到专用的转变、智能体训练与复杂场景掌握、以及基于扩展定律的科学模型开发，推动代码智能系统向具备深度编程专业知识和自主解决问题能力的
2026-01-04 10:54:11
105
原创 第1讲 代码生成领域发展史
代码智能技术经历了从规则驱动到AI驱动的演进历程。2017年Transformer架构引入后，代码生成进入数据驱动时代，2020-2021年实现实用化突破。2022年起专用化代码大模型爆发，StarCoder、CodeLLaMA等涌现，并发展出指令微调、检索增强等关键技术。当前趋势聚焦代理式编程和智能化集成，未来将向多模态生成和强化学习优化发展。关键技术包括大规模预训练、指令微调、检索增强生成等，代表模型如GPT-4、Claude等已支持复杂代码推理。这一演进推动了从独立工具到全流程智能开发平台的生态转变。
2025-12-29 19:50:56
66
原创 第2讲 Dify安装配置详细指南
Dify是一个开源的LLM应用开发平台，支持多模型接入和工作流可视化编排。部署Dify需满足Docker环境、4核CPU+8GB内存等基本要求，通过Docker-Compose可快速启动服务。配置包括初始化管理员账号、模型API设置和存储选项，生产环境建议使用域名和HTTPS。常见问题涉及端口冲突、容器启动失败等，可通过日志排查。平台适用于快速构建和发布AI应用，官方文档和社区论坛提供技术支持。
2025-12-29 13:59:03
338
原创 第1讲：Docker 零基础入门指南：从原理到安装，再到第一个容器
本文为Docker新手入门指南，详细讲解Docker的核心概念、安装方法和基础实践。首先对比容器与虚拟机的区别，说明Docker轻量级、快速启动和高效资源利用的优势。接着提供Windows、macOS和Linux系统的详细安装步骤，包括常见问题解决方案。最后通过运行hello-world容器验证安装，并介绍容器生命周期管理的基本命令。文章强调环境一致性是Docker的核心价值，帮助开发者摆脱"在我机器上能跑"的问题。通过完成本指南，读者将掌握Docker基础，为后续学习Dockerfil
2025-12-26 13:30:32
234
原创 代码生成大模型全景：技术架构、安全机制与智能体生态
代码生成已从"生成玩具代码"迈向"构建可靠软件系统"；下一战场是"可信赖、可协作、可演化的编程智能体"。掌握本指南中的技术栈，将使你在这一领域保持领先地位。本指南整合了代码大模型领域的全栈知识，从基础模型到安全机制再到应用生态。内容基于2025年中最新技术进展，适合研究与工程实践。随着领域快速发展，建议持续关注开源社区与学术会议的最新成果。
2025-12-11 22:06:20
815
原创 LoRA训练及其经典变体方法
LoRA：通过低秩增量BABABA实现参数高效微调 —简单、易实现、无推理开销，已成为 PEFT 的工业标准。变体类别秩/预算自适应（AdaLoRA、ARD-LoRA、IncreLoRA）——提高参数利用率。arXiv量化 + LoRA（QLoRA、QA-LoRA、CLoQ）——显存/部署优化，使超大模型单卡可训。arXiv更接近 Full-FT 的设计。
2025-08-11 16:52:49
773
原创 模型剪枝整理与总结
快速部署：优先权重幅度或BN缩放因子剪枝，配合简单微调。高精度保留：采用重建误差评估+渐进式剪枝，结合知识蒸馏。硬件加速优先：结构化剪枝为主，避免不规则稀疏模式。
2025-06-20 14:26:13
1179
原创 权重量化整理与总结
快速部署场景：优先训练后8位逐层量化，配合MinMax量化策略。高精度需求场景：采用量化感知训练+逐通道量化，或混合精度量化。极致压缩场景：尝试二值化/三值化，但需配合网络架构优化（如残差连接、特征复用）。
2025-06-20 13:14:54
1083
原创 知识整理整理与总结
方法选择建议快速轻量化：优先输出层软标签蒸馏，配合温度自适应策略。高精度保留：采用中间层特征蒸馏+注意力引导，适合异构模型迁移。数据稀缺场景：自蒸馏+伪标签生成，减少对标注数据的依赖。当前技术趋势自动化知识蒸馏（Auto-KD）：通过神经架构搜索（NAS）自动设计蒸馏策略（如最优蒸馏损失组合、学生模型架构）。多教师协同蒸馏：集成多个不同教师模型的知识（如跨任务教师、跨模态教师），提升学生模型的泛化能力。
2025-06-20 13:03:26
412
原创 高效结构设计整理与总结
通过优化神经网络的拓扑结构、计算单元和连接方式，在减少参数量、计算复杂度的同时保持或提升模型性能。高效结构设计的核心是平衡模型表达能力与计算效率，关键挑战在于如何在资源受限条件下（如移动端、边缘设备）设计兼具轻量化和高精度的网络架构。
2025-06-20 12:59:18
474
原创 低秩分解整理与总结
方法选择建议快速部署场景：优先选择训练后分解方法，如矩阵 SVD 训练后分解，实现简单且能快速压缩模型。高精度需求场景：采用分解感知训练方法，如张量 Tucker 分解感知训练，以减少精度损失。对计算复杂度敏感的场景：选择计算复杂度较低的分解方法，如矩阵 SVD 分解，同时结合硬件加速。当前技术趋势自适应低秩分解：根据模型的不同层和不同任务的特点，自适应地选择合适的秩和分解方法，以实现更好的精度和效率平衡。
2025-06-20 12:55:30
707
原创 2021-11-14
解决git clone报错fatal: unable to access ‘https://github将命令里面的https改为git
2021-11-14 21:42:14
327
原创 2021-11-13
Pytorch学习（1）—— 构建网络模型的四种操作利用pytorch来构建网络模型有很多种方法，以下简单列出其中四种。假设构建一个网络模型如下： 卷积层–Relu层–池化层–全连接层–Relu层–全连接层首先导入几种方法用到的包：import torchimport torch.nn.functional as Ffrom collections import OrderedDict需要注意的是，无论哪种方法，每一层层中的参数都是可以从外部传进去的，在初始化阶段传入参数；super里的第一
2021-11-13 23:53:38
90
【大模型微调】LLaMA Factory多方法对比：SFT、DPO、PPO等技术在通用与专业领域的高效对齐应用解析
2025-12-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人