- 博客(477)
- 资源 (25)
- 收藏
- 关注
RSS订阅
原创 Server - 使用 Docker 配置 PyTorch 研发环境
建议使用 Docker 配置 PyTorch 研发环境，原因是部分机器配置差异较大，而且环境各不相同，导致安装到最后仍然无法启动训练任务，浪费大量时间。建议直接使用 Docker + Conda(Mamba) 环境构建虚拟环境，即可支持多数任务。
2025-06-04 10:38:01
911
原创 什么是热爱编程？
看到下文，感觉自己弱爆了，要重新好好的”热爱编程”。95年的时候，我高中同学郭军买了一本Borland C++手册，我们两个人此后两年没机会碰真的电脑，没见过Tubro C更没见过Borland C++，生看这本书，看了两年，百看不厌。做不到，别轻易说，我热爱编程，热爱学习。
2015-08-11 18:20:46
3430
7
原创 AIDD - 药物研发领域的多智能体系统 (Multi-Agent System) 简述
生命科学领域的研究，受限于碎片化的工作流程、范围狭窄的计算模型，以及计算机模拟预测与湿实验验证之间低效的连接机制。生物多智能体系统 (Bio Multi-Agent, BMA)，系统整合领域专用基础模型，实现端到端生物学研究的自动化。BMA 包含 8 个协同工作的智能体，由记忆智能体协调调度，记忆智能体通过检索增强生成技术，实现研究过程的迭代优化，整合了涵盖生物学尺度 (DNA、RNA、蛋白质、细胞和化学层面) 的生物计算工具集。BMA 是具有普适性的原生人工智能科学发现框架，印证多智能体系统与基础
2025-10-24 12:45:53
725
原创 AIDD - 前沿生物科技 自主决策实验 (AE) 的简述
到 2030 年，完全集成的机器人技术、硬件和软件将自主地设计、执行和分析跨模态和细胞系统的实验，将研究实验室与制药工作流程无缝连接起来，自主决策实验(Autonomous Experiment)，将发现(Discovery)、扩大生产(Scale-up) 和 制造(Manufacturing) 转变为一个连续的(Continuous)、数据驱动(Data-Driven)的流程，全天候 24x7x365 运行，没有人力瓶颈。
2025-10-23 16:14:36
763
原创 AIDD - 前沿生物科技 统一数据基础设施 (UDI) 的相关产品
生物行业的 统一数据基础设施(Unified Data Infrastructure, UDI) 是为了解决基因组学、蛋白质组学、临床试验和真实世界数据等，多源异构数据的爆炸式增长，以及“数据孤岛”挑战而构建的核心架构。通过提供一个标准化、可互操作且安全的数据平台，实现对海量生物医药数据的高效整合、治理、存储和访问，打破信息壁垒，促进数据共享与协作，从而加速从基础研究到药物发现和精准医疗的转化，为 AI 和机器学习模型的开发提供高质量的数据支持。
2025-10-22 17:21:09
542
原创 AIDD - 前沿生物科技 统一数据基础设施 (UDI) 的发展与挑战
到 2030 年，生物技术公司将拥有 统一数据基础设施 (UDI, Unified Data Infrastructure)，为团队提供前所未有的实时研发洞察力，为每一项重大决策提供信息，迅速降低研发成本和缩短上市时间。
2025-10-22 10:39:58
1171
原创 AIDD - 前沿生物科技 虚拟细胞 (Virtual Cells) 的相关产品
到 2030 年实现 AI 驱动的虚拟细胞这一愿景，不仅仅代表着一项技术进步，更意味着理解生物学及与之互动的方式将发生根本性的转变。尽管从数据生成到模型验证仍存在重大挑战，但是产业界和学术实验室的先驱们正朝着这个未来迈出重大的步伐。
2025-10-21 18:20:20
808
原创 AIDD - 前沿生物科技 虚拟细胞 (Virtual Cells) 的发展与挑战
研发精确的 AI 虚拟细胞模型，预示在理解和与生物学互动方式上，颠覆性的范式转变(Transformative Paradigm Shift)。虚拟细胞是细胞的计算模型，预测不同细胞生物学层级在各种起始条件下如何表现。虚拟细胞有许多不同的形式。自下而上模型(Bottom-up models)，称为动态全细胞模型(dynamical whole-cell models)，自上而下现象学模型(top-down phenomenological models)，称为AI虚拟细胞。
2025-10-17 11:49:25
595
原创 AIDD - 生物计算领域的八个前沿展望 (2025年~2030年)
在生物计算中，每一个领域以 2025 年的现实为锚点，投射对于 2030 年的预测。通过这样做，不仅考虑今天所处的位置，还考虑希望被塑造的未来。探讨如果当前的轨迹继续发展，或者如果新的想法得以落实，2030 年会是什么样子。反思 2025 年的现状，确定必须做出哪些改变，才能缩短与目标之间的距离。直面这段旅程的挑战，重点介绍那些已在开创未来之路的实验室、公司和社区。最终的成果是一份既记录当下，又是描绘可能性的快照，是一个用于思考、规划和塑造未来十年生物学与技术的路线图。
2025-10-12 21:15:39
1405
原创 LLM - 使用 FastAPI-MCP 库部署 FastAPI 接口 与 MCP 服务
MCP，即 Model Context Protocol，模型上下文协议，开放协议(Open Protocol)，用于规范应用程序为语言模型提供工具和上下文。FastAPI 服务可通过 fastapi-mcp 库构建 MCP 服务，对外提供 MCP 工具。
2025-09-16 12:00:20
994
原创 LLM - 使用 LangGraph 构建 Plan-and-Execute (计划&执行) 智能体
Plan-and-Execute 使用 LangGraph 构建 “先规划后执行” 的智能体，参考 Plan-and-Solve 和 Baby-AGI 项目的启发。核心思想是：首先生成一个多步骤计划，然后逐项执行。当完成某一任务后，回头审视计划，根据情况进行调整。
2025-08-26 14:56:21
1319
原创 LLM - 使用 vLLM 部署 Qwen2.5-VL-32B 模型 (4卡x4090-49G) (3)
vLLM 是生产环境的高性能大模型推理与服务框架，通过 PagedAttention 机制，将显存占用降低至 1/3，支持在单张 GPU 上并行处理长序列请求，搭配连续批处理与 CUDA 图优化，把LLM 的吞吐量提升 10–24 倍，同时保持毫秒级延迟。支持张量并行、KV 缓存量化、LoRA 插件化加载等特性，是构建可扩展、低成本大模型应用的首选工具。
2025-08-18 17:28:35
1315
原创 LLM - 使用 SGLang 部署 Qwen3-32B + YaRN 扩展 128K 与压测 (2)
YaRN (Yet another RoPE extensioN method)，其他 RoPE 扩展方法，是大语言模型设计的高效上下文窗口扩展技术，核心是 NTK-by-parts Interpolation (NTK 分区差值) 和 Pre-Softmax Scaling (预 Softmax 缩放)
2025-08-15 17:11:31
872
原创 LLM - 使用 SGLang 部署 Qwen3-32B 与 Qwen2.5-VL-32B (1)
SGLang，即 Structured Generation Language for LLMs，用于大语言模型的结构化生成语言，是 Stanford & Berkeley 团队推出的大模型推理引擎，优势是高吞吐 + 可编程。
2025-08-15 14:33:14
1226
原创 LLM - 搭建 MinerU 模型的文档解析服务 API
MinerU 的处理工作流分为 4 个阶段。文档预处理(Document Preprocessing)，文档内容解析(Content Parsing)，文档内容后处理(Content Post-Processing)，格式转换(Format Conversion)。
2025-08-12 15:58:48
1081
原创 LLM - 搭建 Grounded SAM 2 模型的视觉检测与分割服务 API
Grounded-SAM-2 是基于 Grounding DINO 和 SAM2 (Segment Anything Model) 的联合图像分割预测系统。通过 FastAPI 库与 Grounded-SAM-2 源码，搭建算法的 API 服务。
2025-08-12 15:46:01
919
原创 LLM - LlamaFactory 的大模型推理 踩坑记录
在使用 LlamaFactory 大模型进行推理时，记录了遇到的诸多问题及解决过程，为后续应用提供经验参考。
2025-06-09 16:54:07
783
原创 LLM - 使用原生 Transformer 库的 SFTTrainer 类 LoRA 微调大模型
SFTTrainer 是 Hugging Face TRL 库所提供的有监督微调类，适用于高效微调，适配下游任务，通过大模型结合 LoRA 等参数高效方法，更新少量参数以最小化资源开销。使用原生 Transformer 库的 SFTTrainer 类，也可以更好的熟悉大模型的训练细节，有助于提升大模型领域的认知。
2025-06-04 16:25:22
1301
原创 Server - 优雅的配置服务器 Bash 环境(.bashrc)
登录服务器默认显示简单的环境，需要重新设置 .bashrc，优雅的支持简化的 shell 命令与颜色显示。其中 .bashrc 与 .bash_profile 都位于 /home/[your user name]/` 目录。
2025-04-18 16:28:26
682
原创 Server - 使用 FastAPI + OpenTelemetry + Zipkin 搭建 Python 服务
将 OpenTelemetry 与 FastAPI 集成，可以实时监控基于 FastAPI 的应用程序，从而提高可靠性，帮助尽早发现性能问题。
2025-04-17 19:17:51
1131
原创 LLM - 构建大语言模型的 RAG 的基础流程 教程
RAG(Retrieval-Augmented Generation, 检索增强生成) 是结合信息检索与生成模型的技术，通过引入外部知识库来增强 大语言模型(LLM) 的生成能力。构建 RAG 流程主要包括：需要准备知识文档，转换为文本数据，进行预处理和索引，后续检索。使用嵌入模型，将文本数据转换为向量，存储在向量数据库中。当用户提出查询时，将查询内容，通过嵌入模型转换为向量，然后在向量数据库中，检索与查询最相关的知识片段。
2025-03-31 17:07:59
1101
原创 LLM - 大模型服务中处理 Badcase 的 SOP 教程
在大模型服务中，处理 Badcase 是复杂且重要的任务。通过增加前置模块，过滤或处理显而易见的错误，例如敏感词检测、高频问题快速响应等。对于复杂的 Badcase，后处理模块对于模型输出，进行二次过滤或修正，比如模型可能产生的“幻觉”内容，进行过滤。调整 Prompt 也是有效的方法，通过优化输入的提示语，引导模型生成更符合需求的结果。如果 Badcase 的问题较为普遍且影响较大，也考虑对模型进行微调，通过有监督微调(SFT)，让模型学习错误案例，提升整体性能。
2025-03-31 16:55:11
846
原创 LLM - 推理大语言模型 DeepSeek-R1 论文简读
DeepSeek-R1 通过强化学习，显著提升大语言模型推理能力，使用特殊的训练策略，其中 DeepSeek-R1-Zero 完全摒弃有监督微调(SFT)，依靠强化学习训练，开创大模型训练中，跳过监督微调的先例。DeepSeek-R1 使用冷启动数据微调，通过多阶段强化学习，进一步优化推理能力。强化学习驱动的训练，不仅降低数据依赖，让模型在训练过程中，自发形成 "回头检查步骤" 的自我反思能力。
2025-03-31 15:34:20
921
原创 LLM - 大模型的 参数量/计算量/激活值/KV Cache 的详细分析 教程
在大模型中，参数量、计算量、激活值以及 KV Cache 是影响模型性能和资源消耗的关键因素。参数量通常与模型的复杂度成正比。计算量则与模型的前向和反向传播过程密切相关，Transformer 模型的计算量在使用 KV Cache 后会显著减少，因为 KV Cache 可以避免重复计算已经处理过的序列。激活值的显存占用在推理阶段尤为重要，其大小取决于序列长度、批次大小、隐藏层维度等因素，通常会随着批次大小的增加而显著增长。
2025-03-31 15:27:14
798
原创 LLM - 开源强化学习框架 OpenR1 的环境配置与训练参数 教程
OpenR1 是一个开源的强化学习框架，复现 DeepSeek-R1 的训练流程，为研究人员和开发者提供了一个完整的推理优化训练工具链。该项目由 Hugging Face 发起，通过开源的方式，详细展示了从知识蒸馏到强化学习，再到多阶段训练的完整过程。OpenR1 包含了用于训练和评估模型以及生成合成数据的脚本，支持 GRPO 训练、监督微调（SFT）等多种训练方法。它还封装了多个开源框架，如 TRL 和 distilabel，方便用户快速上手。
2025-03-31 15:21:47
966
原创 LLM - R1 强化学习 DRPO 策略优化 DAPO 与 Dr. GRPO 算法 教程
在强化学习算法中，DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization)，通过解耦裁剪和动态采样策略提升模型的推理能力。Dr. GRPO (GRPO Done Right) 解决 GRPO 优化中的偏差问题，提出的改进方案，通过删除长度归一化项和标准差标准化项，解决 GRPO 可能导致错误响应逐渐变长的问题。
2025-03-26 16:23:16
1948
原创 LLM - 多模态大模型(MLLM) 的 Step-by-Step 推理步骤奖励 (R1-VL) 教程
通过高质量 思维链(Chain-of-Thought, CoT) 的推理数据，有监督微调(Supervised Fine-Tuning) 增强多模态大语言模型(MLLM) 的推理能力，导致模型只是模仿成功的推理路径，而不理解错误的推理路径。将 MLLM 的推理能力，超越 被动(Passively) 模仿正确推理路径，使用 逐步分组相对策略优化(StepGRPO)，通过 简单(simple)、有效(effective)、密集(dense) 的逐步奖励，自主提升推理能力。
2025-03-20 15:37:29
1078
原创 LLM - 关于 KL 散度的一些理解
KL 散度 (Kullback-Leibler Divergence) 是衡量两个概率分布之间差异的一种非对称性度量工具。基于信息论原理，用于量化一个概率分布相对于另一个概率分布的信息损失程度。KL 散度值越小，表示两个分布越相似；反之，值越大，说明分布差异越大。
2025-03-11 21:31:32
1349
原创 LLM - 大模型构建 Reasoning 推理数据集(OpenR1-Math-220k) 教程
使用蒸馏的推理(Reasoning)数据集，进行模型微调(SFT)，即使不使用强化学习(RL)，也可以提升大模型的效果。因此，构建合适的推理数据集，就可以训练不同的高性能推理模型。
2025-03-07 14:26:33
1052
原创 LeetCode - 神经网络的 反向传播(Sigmoid + MSE) 教程
使用 Python + Numpy，设计带有 Sigmoid 激活函数 的神经网络，实现反向传播以更新神经元的权重和偏置。函数输入：特征向量(Input)、真实标签(Label)、初始权重(Weight)、初始偏置(Bias)、学习率(LR)、训练轮数(Epoch)。基于 均方误差(MSE) 损失，使用梯度下降法，更新权重和偏置。函数输出：更新后的权重、偏置、每一轮训练的 MSE 值列表，每个 MSE 值保留四位小数。
2025-03-07 10:53:58
284
原创 LLM - 使用 Unsloth 框架 轻量级 训练 GRPO 算法 教程
Unsloth 是开源 大语言模型(LLM) 微调框架，通过优化 计算步骤 和 GPU 内核，提升训练速度，减少内存使用，支持主流的 LLM 模型，在单 GPU 上可实现最高 10 倍、多 GPU 上最高 32 倍的加速效果，内存使用降低 70% 以上，支持动态 4 位量化技术，在不显著增加显存的情况下，提高模型精度，兼容 Hugging Face 生态系统，支持长上下文训练，提供多种模型导出格式。
2025-03-05 11:04:32
1426
原创 LLM - 理解 DeepSeek 的 GPRO (分组相对策略优化) 公式与源码 教程(2)
GPRO，即 Group Relative Policy Optimization，分组相对策略优化，是 PPO(Proximal Policy Optimization, 近端策略优化) 的优化版本，省略优化 评论家模型(Critic Model)，用于估计价值(Value Function Model)，降低模型训练的资源消耗。
2025-02-14 19:59:45
1912
原创 LLM - 理解 DeepSeek 的 MLA (多头隐含注意力) 公式与源码 教程(1)
DeepSeek 的 MoE(Mixture-of-Experts) 和 MLA(Multi-Head Latent Attention) 是架构中的核心技术。MoE 通过混合专家机制，模型在处理任务时动态激活最相关的子网络(即“专家”)，从而实现高效的资源利用。MLA 则专注于优化注意力机制，通过低秩联合压缩注意力键K和值V，显著降低推理过程中的 KV 缓存开销。MLA 结合旋转位置编码(RoPE)，优化位置信息的处理。
2025-02-12 16:07:18
610
原创 LLM - 理解多模态大模型 Qwen2-VL 的 NDR 与 M-RoPE 教程
Qwen2-VL 是多模态语言模型，在自然语言处理和视觉理解领域展现出卓越的性能，通过深度融合语言和视觉信息，高效地处理图文混合输入，精准理解图像内容，以及生成与之相关的高质量文本描述。
2025-02-10 15:19:48
1095
原创 LeetCode - Google 大模型10题 第2天 Position Embedding(位置编码) 3题
在 Transformer 架构中，位置编码(Position Embedding) 是辅助模型理解序列中元素顺序的关键机制。
2025-02-05 14:28:50
1349
原创 LeetCode - Google 大模型10题 第1天 Self-Attention(自注意力机制) 3题
GroupQueryAttention(分组查询注意力机制) 和 KVCache(键值缓存) 是大语言模型中的常见架构，GroupQueryAttention 是注意力机制的变体，通过将查询(Query)分组，每组与相同的键(Key)值(Value)交互，优化计算效率和性能，保持模型对于输入信息有效关注，减少计算资源的消耗，适用于处理大规模数据和复杂任务的场景。KVCache 是缓存机制，用于存储和快速检索键值对(KV)，当模型处理新的输入(Q)时，直接从缓存中读取KV数据，无需重新计算。
2025-01-26 15:11:27
1041
原创 LLM - 大模型 ScallingLaws 的预训练方案 教程(5)
使用 ScalingLaws 指导 100B 大模型的预训练方案，包括服务器资源、3D并行策略、Transformer架构、DeepNorm、混合精度策略、EGS策略、AdamW、WarmUp、GradientClipping、样本、位置编码等，使用大模型稳定和高效训练。
2025-01-25 15:47:24
1968
原创 LLM - 大模型 ScallingLaws 的指导模型设计与实验环境 教程(4)
使用 ScalingLaws 指导模型设计，验证模型效果，超过根据经验设计的模型，以及介绍模型的训练环境与超参数。
2025-01-23 14:56:26
1628
原创 LeetCode - Google 校招100题 第9天 Hard 题汇总 (12题)
经常编写算法和数据结构题目，可以系统地巩固基础知识，加深对于编程语言特性的理解，掌握更多高效的编程技巧，优化时间和空间复杂度，也有助于培养解决实际问题的能力，应对遇到的各种复杂情况，接触不同的思路和方法，拓宽思维视野，提升逻辑思维能力。
2025-01-23 10:43:52
637
原创 LLM - 大模型 ScallingLaws 的迁移学习与混合训练 教程(3)
在 PLM 的迁移学习中，预训练 CLM 迁移至 MLM，通过 迁移缩放法则(Transfer Scaling Laws)，合理的分配训练资源，以达到性能最优。同时验证，混合训练(Mixing Training) CLM 与 MLM，不如从零开始训练。
2025-01-17 18:47:17
1593
MMseqs2最新版本可执行文件
2023-07-27
冷冻电镜的低通滤波算法
2022-08-02
ICDAR_2015.zip
2021-05-27
Earthquake - Android Studio 代码
2014-03-24
ContactPicker(选择联系人) - Android
2014-03-20
Solidity Programming Essentials
2018-06-09
craft_models.zip
2021-05-27
Compass-Android
2014-03-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人