- 博客(47)
- 收藏
- 关注
RSS订阅原创 VLM (4):connector
我们在看大模型时 ,会有很多结构很困扰比如: projector, MLP, connector, Q-former等等. 这里对其进行总结.
2026-06-15 16:00:27
272
原创 VLM (1): VLM 一般知识点总结 + VLM重点梳理
我们可以看到有如下关系LLM:VLM:VLA:笔者 在 看 很多vla 的 论文时, 看到 VLM 是 很多 机器人和自驾的核心.所以 接下来会深入vlm 进行学习1 为什么decode only 盛行2 一般性的 知识点3 梳理了vlm 重点结构都有哪些。
2026-06-12 20:58:56
238
原创 VLM(3) temperature 和 top-p
我们用大模型时 总会遇到 temperature 和 top-p, 现在我们就详细看下 这两个参数是如何工作的提示：以下是本篇文章正文内容，下面案例可供参考1 temperature + top-p 如何影响输出2 为什么是temperature3 工作原理。
2026-06-10 15:32:24
262
原创 基础学习(16) CLIP 和 SigLIP
CLIP 和 SigLIP 都是由 Google、OpenAI 等顶级团队提出的多模态预训练模型，它们的核心任务都是将图像和文本映射到同一个向量空间，从而实现“看图识字”或“用文字搜图”。CLIP是OpenAI 在 2021 年发表的论文《Learning Transferable Visual Models From Natural Language Supervision》（从自然语言监督中学习可迁移的视觉模型）是多模态深度学习领域的开山之作。
2026-06-07 00:08:15
279
原创 基础学习(15): dinov3
自监督学出来的特征既能做全局语义（分类/检索），又能做局部密集任务（分割/匹配/深度）。但作者指出：当你把模型、数据、训练时长都继续放大时，会出现一个“已知但没彻底解决”的问题——dense feature map 在长训练/大模型时会退化（变噪、变糊、结构性崩坏），导致密集任务能力受损。DINOv3 的核心贡献之一就是专门把这个坑填了：提出 Gram anchoring 来“钉住”密集特征质量，避免塌陷SSL。
2026-06-04 17:33:15
300
原创 基础学习(13): 变分自编码器 VAE 的 loss
随着大模型以及大head 的广泛使用, 很多特征需要压缩到 latent space, 然后在通过解码器解码到自己需要的维度.本文就vae 和 rae 进行学习论文链接: https://arxiv.org/pdf/2510.11690提示：以下是本篇文章正文内容，下面案例可供参考本文就是对VAE 用的 loss 原理进行了剖析:1 MSE 的原理和局限2 其他的 loss3 为什么要用 LPIPS loss4 为什么要用 gan loss。
2026-02-05 07:31:21
1167
原创 LeRobot SO-ARM101 学习笔记(5) hybridVLA
hybrid VLA 不属于lerobot 范畴,这里 只是阅读,扩大视野论文路径:https://arxiv.org/pdf/2503.10631代码路径: https://github.com/PKU-HMI-Lab/Hybrid-VLA笔者看到这个hybrid优于pi0,所以看看 hybrid VLA的思路现有的基于扩散的 VLA 方法（如文中引用的 [13(pi0),16(),14]）通常是在 VLM（视觉语言模型）之后再接一个独立的扩散头。
2026-01-05 15:21:24
1135
原创 LeRobot SO-ARM101 学习笔记(4) pi0 fast (主要对比 pi0)
继上一篇深扣pi0 ,这里 继续 看下 pi0 fast因为我的工程一直追求实践到机器人上干看论文只有空乏的理论. 我按照惯性一直使用的 lerobot, 我之前用的工程已经没有 pi0 fast, 这里我用之前的工程进行代码和 论文的研读. 代码链接见 https://github.com/MexWayne/mexwayne_lerobot_0605因为 pi0 代码非常简单,所以不详细说明,只是把思路进行精读取。
2025-12-29 20:23:56
990
原创 LeRobot SO-ARM101 学习笔记(3) pi0 (细腻的论文+代码分析)
还是这个开源项目，接下来是 pi0, 虽然笔者已经可以自己玩起来pi0, 但是觉得自己还是需看下 pi0的文章后续笔者相关工作都从soarm100 升级到soarm101地址：https://github.com/huggingface/lerobot笔者购买的是 seeed studio 的 打印好的产品，这是组装链接，很好用，也推荐给大家：pi0 是业内经典之作, 笔者在开发时觉得很多细节值得深入学习, 如果干看论文没啥大的收益,整体结构如图, 因此打算细读下代码.
2025-12-25 22:14:37
1619
原创 LeRobot SO-ARM100 学习笔记(2) diffusion module
对 lerobot 中的 diffusion policy 进行基本的代码阅读
2025-07-21 15:24:56
1582
原创 OpenVLA (3) 再探
整理用于 evaluate, fine tune, lora , 以及 不同平台如何兼容数据. 如何运行以及我踩的坑 都在我的仓库页内有记录, 也欢迎大家讨论: https://github.com/MexWayne/mexwayne_openvla。
2025-07-02 14:21:29
910
原创 RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation
RDT-1B这里有个端侧模型,有很多创新点, 且主要是开源, 所以这里进行学习和探究。
2025-05-19 00:44:34
1328
原创 OpenVLA (2) 机器人环境和数据
按照笔者之前的行业经验, 数据集的整理是非常重要的, 因此笔者这里增加原文中出现的几个数据集和环境的学习skill 例如:抓取(pick), 放置(place), 推动(pushing), 清扫(sweeping), 堆叠(stacking), 折叠(folding)trajectories 就是action集合:其中数据集合结构图如下:图像分辨率：640×480。
2025-05-13 14:46:57
2958
2
原创 基础学习：（11）LoRA
很多调试模型都会用到LoRA (LoRA: Low-Rank Adaptation of Large Language Models)进行微调, 虽然 LoRA效果不如fine tunning, 但是在业内仍然很重要, 因此对它展开学习工作.
2025-05-12 11:24:30
840
原创 基础学习：（9）vit -- vision transformer 和其变体调研
transformer 是一条新的思路, 可以在 paper with code 上看到 vit 的火爆程度其中 vit相关变体网络, 在 paper with code 上累计大概2000篇论文,如果一次都看没有意义,因此我这里统计了 前40 人气论文.
2025-04-27 19:31:39
1521
原创 基础学习：（7）nanoGPT 剩下的细节
在 基础学习：（6）中, 在运行和训练代码基础上,向代码结构进行了挖掘.并且按照训练和运行过程, 扣了一些细节.但是和周围朋友(感谢 suntianlong)讨论中发现还有不会的地方.因此打算进一步深挖. 接上一个链接:https://blog.csdn.net/mikhailbran/article/details/147217336?spm=1001.2014.3001.5501
2025-04-18 00:50:40
1439
原创 基础学习：（6）nanoGPT
看到一个很火的学习开源项目 nano gpt，换换思维，学习下nano gpt这是我个人仓库,里面很多内容已经build 好,如果有不对的也欢迎大家指正.我个人非常喜欢<斗破苍穹>, 因此用了土豆老师的斗破苍穹的小说作为训练样本(非商业用途),如有不敬书迷给你磕一个.
2025-04-16 17:07:48
1668
2
原创 基础学习(4): Batch Norm / Layer Norm / Instance Norm / Group Norm /RMS Norm
batch norm, layer norm, instance norm, group norm
2025-04-15 16:35:47
1065
1
原创 强化学习课程：stanford_cs234 学习笔记（4）Lecture 2: Making Sequences of Good Decisions Given a Model of the Worl
徒手推导了 占用度量的过程
2025-04-14 00:12:05
1221
原创 强化学习课程：stanford_cs234 学习笔记（3）lecture 1: introduction to RL
强化学习课程：stanford_cs234 学习笔记（3）introduction to RL ——马尔可夫决策过程和马尔可夫奖励过程
2025-04-05 22:44:55
1250
原创 NLP-transformer学习：（8）trainer 使用方法
11月工作996压力较大，任务完成后，目前休息了一个月，2025年新的一天继续开始补基础。本章节是单独的 NLP-transformer学习 章节，主要实践了evaluate。同时，最近将学习代码传到：https://github.com/MexWayne/mexwayne_transformers-code，作者的代码版本有些细节我发现到目前不能完全行的通，为了尊重原作者，我这里保持了大部分的内容，并标明了来源，欢迎大家一起学习。
2025-01-01 23:33:53
860
原创 基础学习：（5）不同卷积：transposed convolution，deconvolution，dilated convolution
本文言简意赅的说明了反卷积（deconvlution），卷积（convolution），转置卷积（transposed convolution），空洞卷积（dilated convolution）的区别。
2024-12-12 17:27:23
1210
原创 NLP-transformer学习：（5）Bert 实战
是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。BERT论文发表时提及在11个NLP（Natural Language Processing，自然语言处理）任务中获得了新的state-of-the-art的结果推荐链接：其实说白了就是 transformer可以进行堆叠。
2024-08-26 01:14:53
1178
原创 flash attention: Fast and Memory-Efficient Exact Attention with IO-Awareness
目前transformer 相关应用非常广泛，因此分享一篇关于flash attention的文章。这里为什么先分享flash attention？首先，之前的 attention优化都是基于计算和稀疏性，这篇文章直接从硬件构架角度思考，减少硬件的开销。其次，本文的效果好，直接从N2N^2N2的复杂度降为N，在不改变attention 结构的情下加速显然，甚至因为能增加输入的长度，使得效果有提升，所以在这里做一篇分享，欢迎交流。
2024-07-18 23:08:35
1343
1
原创 NLP-transformer学习：（4）transformer 的 model
transformer 的结构为编码器（encoder） + 解码器（decoder）。encoder 接收输入，decoder 接收encoder 的输出。这里祭出transformer 经典结构其中的Multi-Head 就是著名的多头注意力机制，这个主力机制可以根据上下文有选择性的选择内容。对transformer 的讲解很多，我这里就不多赘述，不过笔者也会写一篇关于论文的阅读博文。
2024-07-05 03:51:30
1107
原创 NLP-transformer学习：（3）transformer的 tokenizer
本章节主要是对 transformer 里的tokenizer 进行学习，tokenizer 比较简单，欢迎交流
2024-07-01 01:15:35
1536
原创 NLP-transformer学习：（2）transformer的 pipeline
本文主要讲述了 如何使用transformer 里的很多任务（pipeline），我们用这些任务可做文本识别，文本翻译和视觉目标检测等等，并且写了实战用力和测试结果
2024-06-30 01:56:41
1107
原创 视频帧插学习（二）：EMA-VFI
笔者在视频帧插方面做过一个统计，该表统计了目前不同测试集下的sota，按照测试集分类大概有8个sota如下表。Name表示网络名称。becnh mark表示在哪些bench mark 上都是sota。win over中数字表示都赢了多少个网络，也能反映这大家在这个数据集上的热度，括号中表示的 不如当前网络但是很有名甚至也出现在当前表格中。starts表示github 上有多少人关注，其实这样能鉴定论文的有效性和是否方便following因为有些文章代码有bug或者没公开。
2024-03-21 14:47:26
3345
14
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人