- 博客(27)
- 收藏
- 关注
RSS订阅原创 PyQt6手写音乐播放器Day1
一个 显示文本的组件，意思就是一旦调用apply_search之后，tracks_changed与status_changed都发生了改变，从而导致了。上文调用apply_search之后，tracks_changed与status_changed都发生了改变，因此要触发它们连接的那两个函数。则表示输入框内文本变化，一旦文本变化就连接conntct里的函数，或者意思就是，文本一变就自动调用括号里的函数。下面这张图已经把窗口中的主要部件标出来了，建议先对照图看，再看后面的代码。最基础的界面控件类。
2026-04-02 16:28:25
367
原创 从零理解 MoE（Mixture of Experts）混合专家：原理、数学、稀疏性、专家数量影响与手写 PyTorch 实现
MoE，全称Mixture of Experts，混合专家模型。不再让所有 token 都经过同一个 FFN；而是准备多个“专家网络”（Experts）；对于每个 token，只激活其中少数几个 expert 来处理。总参数量可以非常大，因为 expert 可以很多；单次前向计算量不一定跟着线性变大，因为每个 token 只走 top-k 个 expert，而不是走全部 expert。传统 FFN：每个 token 都走同一个 MLP；
2026-03-20 15:45:16
496
原创 BatchNorm与LayerNorm 数学公式与手写Python代码
具体来说，LayerNorm 会计算单个样本在其所在层的所有激活值的均值和方差，并使用这些统计量来归一化该样本的激活值。归一化：在训练过程中，BatchNorm 对每个小批量（mini-batch）的数据进行归一化处理，即计算该批量数据的均值和方差，并使用这些统计量将数据标准化，使得数据的均值为 0，方差为 1。内部协变量偏移是指，随着网络层次的加深，每一层的输入数据（即前一层的输出）的分布可能会发生变化，这可能会导致训练过程中的梯度问题，比如梯度消失或梯度爆炸，从而影响网络的收敛速度和稳定性。
2026-03-18 15:54:09
379
原创 Titans部分翻译
在过去十多年里，研究界一直在探索如何更有效地利用循环模型与注意力机制。循环模型试图将数据压缩到固定大小的记忆中（即隐藏状态），而注意力机制允许模型关注整个上下文窗口，从而捕获所有 token 之间的直接依赖关系。然而，这种更精确的依赖建模需要二次复杂度，因此模型只能处理固定长度的上下文。本文提出了一种新的神经长时记忆模块，它能够学习记忆历史上下文，并帮助注意力在关注当前上下文的同时利用久远过去的信息。我们表明，这种神经记忆在保持快速推理的同时，还具备可并行化、训练速度快的优势。
2026-03-11 15:59:55
360
原创 A-MEM_中文全文翻译
LoCoMo [22] 采用一种直接方法：不使用记忆机制，而是直接利用基础模型执行问答任务。对于每个查询，它都会把此前完整对话与问题一起放入提示中，以评估模型的推理能力。ReadAgent [17] 通过一种复杂的三步方法处理长上下文文档：首先采用 episode pagination 将内容切分为易于处理的片段；随后使用 memory gisting 将每页压缩为简洁的记忆表示；最后通过交互式查找在需要时检索相关信息。
2026-03-08 11:34:33
432
原创 Markdown 数学公式模板库
向量：$$$$矩阵：$$$$vv1v2⋮vnvv1v2⋮vnAa11⋯a1n⋮⋱⋮am1⋯amnAa11⋮am1⋯⋱⋯a1n⋮amn。
2026-03-03 22:28:35
447
原创 字符编码完全指南字符编码完全指南
✅ 简单、高效、全球通用（英文世界）✅ 所有后续编码都兼容 ASCII❌ 只有 128 个字符，连é（法语）都放不下，更别说中文✅ 针对中文优化，存储效率高（中文只需 2 字节）✅ 完全兼容 ASCII❌ 只是中国标准，日本、韩国各有自己的编码❌ 不同国家的双字节编码互相冲突 → 乱码根源1963 ASCII 一切的起点，只管英文│1980s 各国编码 GB2312/GBK/Big5/Shift_JIS… 各自为政│。
2026-02-28 16:34:27
1795
原创 调用高德地图 Web API 报错 INVALID_USER_KEY
问题根因解决方案.env未加载使用os.getenv读不到环境变量不存在显式加载.envIDE 运行不生效工作目录不一致指定 dotenv_path。
2026-02-26 15:45:24
307
原创 HTML基础
dl > < dt > HTML </ dt > < dd > HyperText Markup Language，超文本标记语言，用于创建网页的标准标记语言。</ dd > < dt > CSS </ dt > < dd > Cascading Style Sheets，层叠样式表，用于描述HTML文档外观和格式的样式表语言。</ dd > < dt > JavaScript </ dt > < dd > 一种轻量级的解释型或即时编译型编程语言，常用于实现客户端网页交互效果。
2026-02-02 12:40:25
595
原创 WebSocket
虽然服务器可能没崩，但对于排在后面的第二个用户来说，他的连接请求会被晾在一边，直到前一个请求处理完（5秒后）。在“递盘子”的那个瞬间（假设传菜员动作很慢），大厨的手虽然被占用了，但他的脑子（CPU）是空闲的。如果有紧急情况（比如另一个客人的连接断了），大厨可以在等待“盘子交接”的间隙，快速去处理一下那边的事。对“这个连接”来说： 是的，程序会暂停在这一行。服务器的作用： 服务器收到包裹，看了一眼标签（“To: Bob”），然后拿出了他的字典，查到 Bob 的连接对象，最后把消息通过 Bob 的连接塞给他。
2026-01-27 16:02:57
1118
原创 LightRAG 简要原理、流程与实战
博主正在做一个基于角色的剧情记忆系统,试了两三天发现结果不佳上网找方法,查到了LightRAG，先写一些基础概念。后续会对着源码进行详细介绍。RAG（Retrieval Augmented Generation）是 LLM 的一种应用，它将 LLM 与数据库或搜索引擎结合，以获取更准确的信息。这里对 传统RAG GraphRAG 与 LightRAG 做对比：传统RAG结合了信息检索和生成模型。通常是先使用检索模块从一个大型文档集合中找到相关信息，然后由生成模块生成自然语言结果。生成过程会参考检索到的文档
2026-01-11 13:37:30
696
原创 OpenManus详解之 LLM.py
特别是在与 LLM（大语言模型）交互的时候，经常会遇到临时性的网络波动、超时、服务器繁忙等问题，这时候自动重试可以显著提升稳定性。把各种乱七八糟的消息格式（字典、对象、带图片的、不带图片的），统一整理成 OpenAI 接口能听懂的标准格式。调用一个可能会失败的方法（比如访问远程 API）时，这个装饰器会在出错后自动尝试重新执行，而不是立刻报错退出。如果没有单例机制，这两个 llm_a 和 llm_b 是两个不同的对象，会分别创建两次连接，浪费资源。非流式请求下，直接调用 OpenAI API，并返回结果。
2025-11-23 23:03:32
609
原创 OpenManus详解之 LLM.py 的TokenCounter类
它的作用是：精确估算一条消息在调用大模型（如 GPT-4o、Claude）时会消耗多少 tokens。
2025-11-23 17:26:17
959
原创 基于 Baichuan2-7B 的法律微调大模型与 RAG 系统-V1.0
它使用 LoRA 对 Baichuan2-7B 模型在法律 QA 数据集上进行了两次微调，并结合了高级 RAG（检索增强生成）流程实现深度搜索功能，提供了一个可交互的 Streamlit Web 界面。: BM25 (稀疏检索) + FAISS/BGE (稠密检索) -> RRF (多路召回融合) -> BGE-Reranker (精排) -> LLM (生成答案)此脚本将加载 Base 模型和 LoRA_data.jsonl，执行 SFT，并将新的 LoRA 适配器保存到 models/ 目录。
2025-11-02 17:37:39
656
原创 MiniMind的train_grpo.py部分注释
传统的强化学习方法，如PPO（Proximal Policy Optimization），在对齐LLM时通常需要一个“策略模型”（负责生成回答）一个“价值/评论家模型”（负责评估回答的好坏），还有一个奖励模型（负责给定一个答案，给出一个奖励）。在当代的 LLM 背景下，我们需要极度节省训练内存与计算资源。这不仅复杂，还非常消耗计算资源。这就是 GRPO 的问题背景：如何在保证PPO那样的收益（稳定、可控等）前提下，减少对昂贵价值网络的依赖？
2025-10-26 23:13:24
332
原创 Win11+系统环境的GaitSet配置
打个比方，我当时跑到38100的时候由于不明原因卡退出去了，这时候把restore_iter改成38100，就能从38100开始继续跑，和pretreatment一样，跑完的时候会自己停，中途时间挺长，别乱动。就可以了，第一个print是输出你的torch+GPU是否存在，第二个输出torch+GPU版本，切记，一定要GPU版本的torch，就是torch版本+cu版本的这种形式，不然你后续代码跑不了。这里我用的的torch版本是2.3.1，读者在选择自己的torch版本时要注意与CUDA的兼容性。
2024-08-30 10:04:07
1416
11
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人