- 博客(37)
- 收藏
- 关注
RSS订阅原创 大模型的Prompt-Tuning学习笔记
摘要：Prompt-Tuning是一种参数高效的大模型微调方法，通过在输入添加可训练的软提示（continuous prompt）适配下游任务，无需更新模型主体参数。相比全量微调，它能显著减少训练参数和显存占用，便于多任务共享模型。本文系统梳理了Prompt-Tuning及其变种（Prefix-Tuning、P-Tuning等）的技术原理、实现方法和应用效果，分析了在不同模型架构（BERT/GPT/T5）上的适配方案，并提供了基于PyTorch和PEFT库的实践指南。
2026-04-02 09:56:54
664
原创 自然语言处理基础学习笔记
本文系统介绍了自然语言处理(NLP)的基础知识和技术体系。主要内容包括：1. NLP基础概念与建模流程：涵盖数据预处理、特征表示、模型训练与评估等环节；2. 核心技术理论：语言模型、词向量、句法分析和语义理解等底层技术；3. 典型任务方法：文本分类、情感分析、命名实体识别等具体应用任务；4. 现代技术工具：Transformer架构原理及PyTorch/Transformers库的使用方法。
2026-03-31 16:53:26
515
原创 PyTorch 官方学习笔记
PyTorch官方学习笔记摘要（147字） 本文基于PyTorch 2.x官方文档体系，系统讲解深度学习开发路径：从张量操作（广播/视图/内存连续性）→自动微分原理→模块化网络构建→完整训练循环实现→模型部署全流程。重点包括： 张量核心机制：view/reshape区别、广播语义、contiguous内存处理 训练闭环规范：nn.Module设计、可复现训练流程、state_dict管理 部署新范式：PyTorch 2.x推荐的torch.export路径替代传统TorchScript
2026-03-30 10:00:30
804
原创 经典神经网络结构学习笔记
摘要（150字）： 本文系统梳理了经典神经网络结构CNN和RNN的核心原理与关键模块。CNN部分详解了卷积运算的数学表达与几何参数计算，介绍了卷积层、池化层、批归一化等核心组件，并分析了LeNet、AlexNet、ResNet等典型架构的设计动机与优缺点。RNN部分阐述了循环神经网络的时序建模能力，包括LSTM和GRU等变体结构。文章提供了CNN图像分类和RNN序列建模的示例训练流程，配有伪代码实现，并总结了网络调试的实用技巧。
2026-03-29 11:40:04
691
原创 Transformer架构学习笔记：从数学推导到工程实现与主流变体
本文系统梳理Transformer架构，从数学推导到工程实现与主流变体。首先分析Transformer相比RNN/CNN的优势：并行化（O(1)串行步数）、短依赖路径（O(1)最大路径）和高效矩阵实现，代价是注意力二次复杂度O(n²d)。核心推导包括自注意力矩阵形式、缩放因子1/√d_k的方差控制、多头注意力的等价实现视角，以及残差连接与LayerNorm的协同作用。详细讨论位置编码的频域解释、编码器-解码器结构差异，并提供复杂度估算公式和PyTorch实现要点。
2026-03-27 14:12:06
589
原创 LoRA 微调与工程实践学习笔记
LoRA是一种参数高效微调方法，通过将权重增量约束在低秩子空间来优化模型。它仅训练两个小矩阵来近似全量微调的权重变化，可在推理时合并回原模型而不增加延迟。LoRA显著降低了多任务场景下的存储和训练成本，但有效性依赖于权重更新低秩的假设。其衍生方法如QLoRA、AdaLoRA等进一步优化了量化、动态秩分配等特性。LoRA适用于大多数工程场景，但在任务差异大时可能需要更高秩或全参微调。关键优势包括参数高效、推理友好和生态完善，是当前大模型微调的主流选择之一。
2026-03-27 14:08:57
541
原创 机器学习基础算法学习笔记
本文系统介绍了机器学习三大基础任务：分类、回归和聚类。分类算法包括逻辑回归、K近邻、决策树等，用于预测离散类别；回归算法如线性回归、随机森林等，用于预测连续数值；聚类算法如K均值、DBSCAN等，用于无监督数据分群。文章详细讲解了各类算法的原理、适用场景和评估方法，强调特征工程、模型选择和业务理解的重要性。同时指出常见误区，建议从基础项目入手，逐步掌握机器学习全流程，注重算法在实际问题中的应用效果而非单纯追求技术复杂度。
2026-03-26 17:14:26
488
原创 RAG 深度实战解析 (原理、代码与优化)
RAG（检索增强生成）技术指南：解决大语言模型三大痛点 RAG技术通过"开卷考试"机制，为大语言模型配备外部知识库，有效解决其知识时效性、私有知识缺失和幻觉问题。该技术分为离线数据准备（文本提取、切块、向量化入库）和在线检索生成（问题向量化、相似度搜索、提示词组装）两个阶段。相比微调，RAG具有更新快、成本低、隐私性好的优势。进阶优化包括查询重写、混合检索、父子文档策略和重排序技术，可显著提升检索精度。
2026-03-26 09:55:02
582
原创 RabbitMQ 全面学习资料
RabbitMQ全面学习资料摘要：本文系统介绍RabbitMQ消息队列，从核心概念到实战应用。内容涵盖AMQP协议原理、核心组件（Exchange/Queue/Binding）、安装配置、基本生产消费模型、工作队列模式、路由机制（Direct/Topic）等核心功能，并深入讲解消息确认(ACK)、TTL、死信队列、集群高可用等进阶特性。通过Python/Java等语言示例演示开发实践，提供异步任务处理、微服务通信等典型应用场景，同时介绍管理监控工具。适合开发者从入门到精通掌握这一高效可靠的消息中间件技术。
2026-03-26 09:54:29
700
原创 Django 学习笔记：从入门到项目开发的完整梳理
Django学习摘要： Django是Python生态中最成熟的Web框架，提供完整的Web开发解决方案。核心特点包括MTV架构（Model-Template-View）、ORM系统、Admin后台和内置认证等。学习路径应从项目/应用概念入手，依次掌握URL路由、视图、模板、模型等核心组件。Django强调工程化开发，适合需要完整功能的中大型项目。
2026-03-25 14:19:55
655
1
原创 FastAPI 学习笔记：从入门到项目落地的完整梳理
FastAPI 学习笔记摘要 FastAPI 是一个基于 Python 类型标注的现代 Web API 框架，通过将接口开发中的校验、文档生成等工作统一到函数签名和类型注解中，显著提高了开发效率。其核心优势包括： 开发链路顺畅：自动完成参数解析、类型校验、错误处理和文档生成 自动文档：代码即文档，自动生成 Swagger 和 ReDoc 文档 简洁的路由定义：使用装饰器声明路由，支持常见 HTTP 方法 智能参数处理： 路径参数自动类型转换 查询参数支持默认值、可选值和约束条件
2026-03-25 11:11:57
562
原创 vllm加速推理模型官方学习文档笔记
vLLM是一个高性能LLM推理系统，其核心优势在于高效的KV缓存管理、智能分批调度和多进程解耦架构。报告详细梳理了vLLM的安装部署、架构原理和性能优化方法。在安装方面，vLLM支持多种GPU/CPU平台，但对Windows仅限WSL方式；部署提供从Docker到Kubernetes等多种方案。架构上采用API Server、Engine Core和GPU Worker多进程设计，通过ZMQ通信实现高效调度。性能优化聚焦KV缓存、批处理策略和并行计算等维度，并特别探讨了与Milvus在RAG场景下的协同优化
2026-03-24 18:59:29
615
原创 Milvus 向量数据库的官方文档笔记
Milvus 是一款云原生向量数据库，支持从嵌入式到分布式集群的多种部署方式。其核心架构围绕 collection（集合）组织数据，支持向量检索与标量过滤
2026-03-24 18:58:25
542
原创 微服务全体系学习笔记（从入门到落地）
微服务不是银弹，它解决了高可用、高扩展的问题，同时也带来了分布式系统的巨大复杂度。学习微服务，一定要先搞懂 “为什么要这么做”，再去学 “怎么实现”，不要上来就堆技术栈。微服务是实战性极强的技术，光看视频和文档永远学不会，必须自己从零到一搭建项目，踩坑、解决问题，才能真正掌握。
2026-03-23 23:42:20
651
原创 Celery异步任务队列 / 任务调度框架笔记
本文是一份Celery零基础系统入门教程，按照认知→环境→上手→原理→实战→工程化的学习路径展开。教程首先介绍Celery作为Python主流分布式异步任务框架的核心功能（异步任务、定时任务、分布式任务）和适用场景。重点讲解Windows环境下的专属避坑点，包括Redis安装方案和gevent依赖。通过一个可运行的加法任务Demo，演示从任务定义、Worker启动到结果查询的完整流程。深入讲解任务调用方式、重试机制、定时任务配置等核心功能，并提供标准工程化项目结构建议。
2026-03-23 23:28:39
670
原创 如何快速用测试用例来入门一个项目
摘要：接手大型Python项目时，采用"由外而内、分层测试"策略能快速理解项目架构。首先通过E2E测试掌握核心功能（1-2天），再通过集成测试了解模块交互，最后用单元测试深入细节实现。具体步骤包括：1）环境搭建和项目探索；2）分层编写测试（E2E→集成→单元）；3）利用Coverage.py和pytest工具分析测试覆盖率和输出日志。这种方法从功能接口入手，逐步深入模块逻辑和实现细节，帮助开发者系统性地掌握项目全貌。
2026-03-22 21:57:48
426
原创 RabbitMQ基础知识
RabbitMQ是一个消息中间件，其核心包含四大角色：生产者发送消息、交换机路由消息、队列存储消息、消费者处理消息。通过四种交换机模式（直连、广播、主题、头模式）实现灵活的消息分发。RabbitMQ支持异步处理、应用解耦和流量削峰，并通过持久化和确认机制保障消息安全。生产者将消息发送至交换机并附带路由标签，交换机根据绑定规则将消息分发到对应队列，消费者从队列获取消息进行处理。这种架构实现了系统间的高效、可靠通信。
2026-03-22 21:39:42
633
原创 Linux操作系统学习笔记
Linux基础与常用命令摘要 Linux是一种命令行功能强大的操作系统，核心特点是"一切皆文件"和命令组合能力。WSL环境提供了类似原生Linux的操作体验。
2026-03-20 22:25:17
519
原创 CrewAI多智能体编排框架学习笔记
CrewAI = 用"角色扮演"的方式组建 AI 团队，让多个 Agent 像人类团队一样协作完成任务如果说 LangGraph 是手动画流程图，那 CrewAI 就是组建一个虚拟公司：你定义每个员工的角色、目标、技能，然后给团队分配任务，它们自己协作完成。你要做什么？"给一个 AI 几个工具让它回答问题"└─ LangChain create_agent ✅ （最简单）"自己精确控制每一步的执行流程"└─ LangGraph ✅ （最灵活）"组建 AI 团队，多角色协作完成复杂任务"
2026-03-20 22:19:26
758
原创 LangGraph 工作流引擎底层笔记
LangGraph工作流引擎摘要 LangGraph是一个工业级状态机框架，提供精细控制力来构建包含条件分支、循环和多智能体交互的流程图。其核心由三部分组成： State：全局共享内存，使用TypedDict定义数据结构 Node：执行具体业务的Python函数 Edge：定义节点间流转规则，包括固定边和条件边 支持五大路由模式： 线性流水线 条件分发 自我纠错循环 并行聚合 多Agent主系统 实战示例展示了客服工单自动分流系统，通过LLM分析意图后路由到不同处理节点。
2026-03-19 16:31:42
420
原创 LangChian1.0核心机制与开发指南
LangChain 1.0 进行了重大架构变革，全面转向Agent模式，核心特点包括：统一使用create_agent作为构建入口，简化API设计工具系统大幅简化，支持三种定义方式（Python函数、装饰器、社区集成）创新的Content Blocks机制统一多模型返回值格式中间件系统采用洋葱模型，提供6个生命周期钩子记忆机制本质是对话历史管理，支持全量/摘要/向量三种策略实战示例展示了多工具集成、SQLite持久化记忆和自动摘要功能 新版设计更简洁高效，解决了旧版兼容性差、API混乱等问题。
2026-03-19 16:29:02
830
原创 Docker入门与进阶实战笔记 [特殊字符]
本文介绍了Docker的核心概念、基础操作和进阶应用。主要内容包括：Docker通过容器化技术解决异构环境问题，实现"一次构建，到处运行"；三大核心概念为镜像(只读模板)、容器(运行实例)和仓库(镜像存储服务)；基础操作涵盖容器生命周期管理、网络端口映射和数据持久化；通过Dockerfile构建自定义镜像；使用Docker Compose编排多容器微服务，通过YAML文件统一定义服务依赖和配置。文章还提供了常用命令速查表，帮助开发者快速掌握Docker的核心功能和应用场景。
2026-03-18 12:16:30
865
转载 Claude code底层实现原理（协作）
本文探讨了智能体团队协作的演进过程。从最初的简单任务分配（s09）到引入结构化通信协议（s10），再到实现自治智能体（s11）和任务隔离（s12），系统逐步完善了团队协作机制。关键进展包括：持久化智能体生命周期管理、请求-响应协议、自动任务认领机制，以及通过git worktree实现的隔离执行环境。这些改进使智能体团队能够更高效、有序地协作，同时保证任务执行的独立性和可追溯性。最终系统支持任务看板管理、worktree绑定、自动状态跟踪和完整的事件日志记录。
2026-03-18 11:47:48
100
转载 Claude code底层实现原理（内存管理与并发）
文章摘要： 本文介绍了两种提升AI代理效率的技术方案：上下文压缩和后台任务处理。上下文压缩采用三层策略：微观压缩（自动替换旧结果）、自动压缩（超阈值时摘要对话）和手动压缩（按需触发），通过保存完整历史到磁盘实现无限会话。后台任务通过守护线程并行执行耗时命令，结果通过通知队列注入主循环，使代理能继续工作而不阻塞。两种方案共同解决了大项目处理中的上下文限制和长时任务等待问题。
2026-03-17 22:19:44
35
原创 Redis 面试与核心知识点学习笔记
Redis核心知识点摘要：Redis高性能源于纯内存操作、高效数据结构和单线程IO多路复用。底层数据结构包括SDS、跳表、哈希字典和压缩列表，兼顾性能与内存效率。缓存三大异常（穿透、击穿、雪崩）有针对性解决方案。持久化采用RDB快照和AOF日志，4.0+支持混合模式。内存管理通过定期/惰性删除和淘汰策略（LRU/LFU）优化。高可用架构演进为主从复制、哨兵模式和Cluster分片集群。实战场景涉及分布式锁实现和缓存双写一致性方案，推荐"先更新库后删缓存"配合延迟双删策略确保数据一致性。
2026-03-17 15:17:55
518
转载 Claude code底层实现原理（规划与协调）
文章摘要：本文介绍了一个多阶段智能体任务管理系统的演进过程。从基础的待办事项管理(s03)到子任务拆分(s04)、技能加载(s05)，最终发展为基于DAG的持久化任务系统(s07)。关键创新包括：1) 待办事项状态跟踪防止进度丢失；2) 子智能体隔离上下文保持主对话清洁；3) 按需加载技能减少token浪费；4) 基于文件的任务图实现依赖管理和持久化。系统通过工具调用实现功能扩展，逐步解决了多步任务中的进度丢失、上下文污染、知识管理等问题，为复杂工作流提供了可靠框架。
2026-03-16 18:47:42
93
原创 MySQL 面试核心知识点总结与原理解析
本文总结了MySQL核心面试知识点，重点解析了InnoDB与MyISAM引擎差异、B+树索引原理、事务隔离级别和MVCC机制。主要内容包括：1) MySQL三层架构和存储引擎特性对比；2) B+树索引结构优势、聚簇/非聚簇索引区别及覆盖索引优化；3) 事务ACID特性实现原理和不同隔离级别下的并发问题；4) MVCC多版本控制机制如何通过版本链和Read View实现读写不冲突。文章通过SQL示例演示了索引优化、事务隔离级别等现象，帮助深入理解MySQL底层设计原理。
2026-03-16 11:43:33
654
转载 Claude code底层实现原理（工具与执行）
摘要：文章介绍了智能体循环(Agent Loop)的实现机制，通过一个工具(Bash)和一个循环构建智能体系统。语言模型能够推理代码但无法直接操作真实世界，该方案通过循环自动处理工具调用结果，直到模型不再调用工具为止。随后扩展了工具使用方式，通过工具调度映射(dispatch map)支持多种工具(bash/read/write/edit)，同时引入路径沙箱确保安全性。整个系统仅需不到30行代码，核心循环保持不变，只需添加工具处理函数即可扩展功能。演示了如何通过prompt让智能体执行文件操作、代码编辑等等
2026-03-15 09:58:37
59
转载 Claude code底层实现原理（Bash is all your need）
该项目是从零构建类Claude Code智能体的教学项目，采用12个递进式课程设计，每个课程添加一个关键机制。基础架构遵循Agent Pattern：用户消息→LLM处理→根据停止原因判断是否调用工具→循环执行或返回结果。
2026-03-15 09:57:33
60
原创 python的web后端框架：FastAPI
FastAPI是一个基于Python的高性能Web框架，具备异步支持和强类型校验能力。其核心优势包括接近Node.js/Go的性能、自动生成API文档、基于Pydantic的数据验证以及优雅的依赖注入系统。本文详细介绍了FastAPI的基础环境搭建、规范项目结构、核心组件（路由系统、Pydantic模型、依赖注入）以及进阶特性（异步编程、数据库集成、认证授权）。同时涵盖了工程化实践，包括测试方法和Docker容器化部署方案，为开发者提供了从入门到生产的完整指南。
2026-03-14 09:58:47
362
原创 Git 核心实战学习笔记
首先建立了工作区、暂存区与本地仓库的“空间法则”，跑通了 add -> commit 的高频修补流程。随后深入“平行宇宙”级别的分支管理，实战演练了分支的新建、切换与合并 (merge)，并亲手破译与攻克了令人头疼的代码冲突。实战演练了分支的新建、切换与合并 (merge)，并亲手破译与攻克了令人头疼的代码冲突。在本地技能稳固后，我们打通了云端壁垒，掌握 push/pull 等指令实现代码的云端备份与团队同步更新。灵活运用三剂“后悔药”(restore/reset/revert) 挽救失误.
2026-03-14 09:58:13
714
原创 Nginx 反向代理与负载均衡的实现原理
（Smooth Weighted Round-Robin），确保请求分布均匀，不会出现某个后端连续收到大量请求。Nginx 处理每个 HTTP 请求分为。'选中前 current_weight''选中后 current_weight'归零，进入下一个循环。Nginx 在这一步做了什么？——A 不会连续出现 5 次！注意第 10 次后，所有。Nginx 内部用一个。Nginx 使用的是。
2026-03-13 09:36:44
530
原创 Python并发编程
本文通过工厂比喻形象解释了Python并发编程的核心概念：进程是独立厂房（内存隔离），线程是共享厂房的工人（需加锁防数据竞争），协程是单线程内的高效任务切换（避免线程切换开销）。重点分析了Python的GIL锁对多线程的影响，比较了多进程（CPU密集型）、多线程（I/O密集型）和协程（高并发I/O）的适用场景。详细介绍了线程安全问题和解决方案（Lock/Queue），深入讲解了asyncio的协程、事件循环和await机制，对比了进程间通信的各种方式（Pipe/Queue/共享内存等）。
2026-03-13 09:35:48
476
原创 python网络协议
本文摘要：HTTP与HTTPS的核心区别在于数据传输安全性，HTTPS通过SSL/TLS加密确保数据安全。HTTP状态码分为五大类，帮助开发者快速定位问题。TCP三次握手和四次挥手确保可靠连接建立与释放。RESTful API规范通过URL名词和HTTP动词实现清晰资源操作。GET和POST方法在参数传递、数据大小和安全性上存在显著差异，GET适合获取数据，POST适合提交数据。理解这些网络基础概念对Python爬虫和后端开发至关重要。
2026-03-12 09:26:11
580
原创 python的魔术方法
魔术方法（Magic Methods）是 Python 类中前后各有两个下划线由 Python自动调用，无需手动触发；用于实现类的特殊行为（如实例创建、字符串表示、比较、算术运算等），让类的行为更像内置类型。# __len__：支持 len()# __getitem__：支持 obj[key] 获取元素# __setitem__：支持 obj[key] = value 设置元素# __contains__：支持 item in obj# __iter__：支持 for 循环迭代。
2026-03-12 09:25:20
439
原创 Python 参数
self是 Python 类中实例方法的第一个参数，代表当前正在调用该方法的实例对象本身。self只是约定俗成的名字，你可以用thisme等其他名字代替，但强烈不推荐，会破坏代码可读性。self是实例方法的第一个参数，代表当前调用方法的实例对象；作用是访问实例属性和方法，区分实例变量和局部变量；Python 会自动将实例传给self，无需手动传入；类方法用cls，静态方法不用self。*args和**kwargs是 Python 的语法糖，用于让函数 / 方法接收任意数量的参数，名字是。
2026-03-11 11:01:33
471
原创 python基础
print("获取资源")return "资源对象" # 返回给 as 后的变量print("释放资源")# 可处理异常：返回 True 表示异常已处理，不向外抛出print(f"捕获异常：{exc_val}")# 使用print(f"使用 {res}")# 故意触发异常raise ValueError("出错了")with语句是语法糖，让资源管理代码更简洁、安全；上下文管理器的核心是__enter__（获取资源）和__exit__（释放资源）；简单场景推荐用快速实现。
2026-03-11 10:49:34
777
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人