- 博客(15)
- 收藏
- 关注
RSS订阅原创 InternVL系列论文笔记
InternVL系列论文笔记摘要：InternVL系列是上海AILab推出的开源多模态大语言模型(MLLM)，旨在缩小与商业模型的差距。该系列采用"ViT-MLP-LLM"三段式架构，核心创新在于系统性的工程优化和训练策略。
2026-01-26 16:53:14
753
原创 Qwen3-VL架构及核心模块
Qwen3-VL基于2.5版本进行升级，主要包括：带有细粒度语义提取能力的图文对齐encoder（SigLIP2）、解决长视频探索问题的位置编码（MoPE-I）、更丰富和深层次的模态融合机制（DeepStack）以及增强视频处理能力的时间编码（TimeStack）。通过上述架构更新，连通多阶段训练，Qwen3-VL实现更优异的性能表现。
2025-12-18 18:58:27
1353
原创 Kimi Linear的前身：由Gated Delta Rule扩展的Linear Attention
本文推导了线性注意力机制(Linear Attention)及其改进方法DeltaNet的计算公式。首先分析了标准自注意力机制通过分解指数项实现线性近似。然后介绍了DeltaNet的核心思想：采用增量更新规则动态调整记忆矩阵，通过引入遗忘机制解决长序列处理问题。文章详细推导了DeltaNet的数学形式，包括其线性性质和分块并行计算方法，证明了该模型能有效平衡记忆保留与更新。最后给出了DeltaNet的分块实现公式，为高效处理长序列提供了理论基础。
2025-11-27 11:07:03
927
原创 DeepSeek-OCR 模型结构 笔记
DeepSeek-OCR采用创新性的编码器-解码器架构处理文档OCR任务。编码器部分使用双塔架构DeepEncoder，结合SAM和CLIP模型，支持多分辨率输入（512-1280像素），通过智能填充和局部+全局视角处理不同尺寸图像。解码器采用MoE架构。该模型的创新架构有效平衡了计算成本和识别精度。
2025-11-11 18:01:24
898
原创 LLM实战【书生·浦语 InternLM实战营】6 - Lagent与AgentLego
使用InternLM的lagent和AgentLego功能
2024-04-27 12:34:34
226
1
原创 scheduler：pytorch训练过程中自动调整learning rate
import torch.optim as optimoptimizer = optim.Adam(net.parameters(), lr=1e-3, betas=(0.9, 0.99))在使用pytorch训练神经网络时，可能需要根据情况调整学习率（learning rate）
2021-02-09 12:05:27
1404
原创 pickle与.pkl文件
@[TOC].pkl文件 与 pickle方法经常遇到在Python程序运行中得到了一些字符串、列表、字典等数据，想要保存下来，长长久久的，方便以后使用，这个时候Pickle模块就派上用场了。pickle 模块及其同类模块 cPickle 向 Python 提供了 pickle 支持，它可以将对象转换为一种可以传输或存储的格式（后者使用 C 编码，具有更好的性能）。pickle对python对象的转换Pickle模块将任意一个Python对象转换成一系统字节的这个操作过程叫做串行化对象。pickle
2021-02-01 12:22:21
3222
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人