- 博客(144)
- 收藏
- 关注
RSS订阅原创 Decoding：大模型解码策略解析
你的需求是什么？│├── 速度第一，质量其次？│ └── ✅ 贪心搜索（Greedy Search）│├── 准确性第一（翻译/摘要）？│ └── ✅ 束搜索（Beam Search），num_beams = 5 左右│├── 需要创意和多样性（写作/对话）？│ └── ✅ 联合采样（Top-K + Top-P + Temperature）│ 推荐初始参数：K = 50 , P = 0.9 , T = 0.8 │└── 需要稳定精确输出（代码/数学）？
2026-04-14 14:29:44
461
原创 绝对/相对位置编码
类比：就像玩填字游戏：方格的位置是固定的（位置编码不变），但你可以按任意顺序来填写这些方格！这样模型既能学到双向上下文，又不需要使用[MASK]这个假token!相对位置编码将两个token的相对位置信息添加到对应的attention值中。来自《Attention Is All You Need》三角编码用多个频率的波，唯一确定任意位置！秒针（高频）：每60秒转一圈，精确到秒。** T5删掉了哪两项？三根指针组合，唯一确定任意时刻！分针（中频）：每60分钟转一圈。时针（低频）：每12小时转一圈。
2026-04-13 22:40:44
414
1
原创 Tokenizer
原始文本（人类能读）："我爱吃北京烤鸭"Token序列（模型能处理）：["我","爱","吃","北京","烤鸭"]↓ 转成数字IDID序列：[101, 2769, 4263, 1166, 1266, 2110, 102]向量矩阵（模型真正的输入）Tokenizer就像翻译官兼速记员，把人类的语言（文字）先切割成有意义的片段（Token），再把每个片段翻译成模型能理解的数字编号（ID）。Token = 模型处理文本的最小单元可以是：- 一个词： "烤鸭" → 1 个Token。
2026-04-10 17:03:02
426
原创 Transformer
每个Encoder Block的输入和输出形状完全一样（都是n*d），可以。Multi-Head Attention像全班开大会（关注词与词之间的关系）Feed Forward像用放大镜单独精查每个词（深度加工每个位置的特征）：把文本映射到连续的向量空间，让语义相近的词，向量距离也相近。有残差：每次学完新知识，在原来知识的基础上叠加新知识。大会后（Attention）：每个词都获得了全局视野。没有残差：每次学完新知识，只保留新知识，忘记原来的。精查后（FFN)：每个词的特征被深度提炼和加工。
2026-04-10 14:29:10
421
原创 深入浅出：自注意力机制与多头注意力机制完全指南
本文系统介绍了注意力机制的原理与应用。首先分析了RNN/LSTM处理序列数据的局限性：长距离信息衰减和无法并行计算。随后详细阐述了自注意力机制的核心思想——让序列元素直接建立全局联系，并介绍了其计算流程（Q/K/V矩阵生成、注意力分数计算、Softmax归一化和加权融合）。文章还探讨了位置编码的必要性及其实现方法，以及多头注意力机制通过多视角分析提升模型性能的原理。最后指出自注意力与全连接层的协同作用，前者负责全局信息融合，后者进行局部特征精炼。全文通过生动类比和公式分解，清晰展现了注意力机制的技术细节与设
2026-04-08 17:15:32
469
原创 Harness是什么？
摘要： Harness指AI模型的外部支持系统，包括工具权限、安全管控、上下文管理等关键组件。实验证明，优化Harness（如强制测试拦截器）比修改Prompt更能提升AI表现（LangChain案例成绩提升26%）。Claude Code通过五层权限门控实现安全防护，其中"工具隐藏"比Prompt警告更有效。ETH研究发现过度指令会降低AI效率，Harness设计应遵循"少而精"原则，仅约束核心红线。本质是通过环境设计（而非口头警告）物理性杜绝AI错误，如同铁轨系统
2026-04-07 15:21:33
72
原创 MapTR
本文提出MapTR，一种基于Transformer的高效端到端矢量化高精地图构建方法。通过创新的排列等价建模，将地图元素表示为具有等价排列的点集，解决了传统方法的方向歧义问题。采用分层查询嵌入和二分匹配策略，MapTR在nuScenes数据集上实现了最优性能：MapTR-nano达到25.1 FPS实时速度，比现有方法快8倍且精度高5.0 mAP；MapTR-tiny比多模态SOTA方法快3倍且精度高13.5 mAP。实验表明该方法在各种复杂场景下都能保持稳定、鲁棒的地图构建质量。
2026-02-24 16:35:18
923
原创 hot 100 三刷记录
给定一个整数数组 temperatures ，表示每天的温度，返回一个数组 answer ，其中 answer[i] 是指对于第 i 天，下一个更高温度出现在几天后。输入: temperatures = [73,74,75,71,69,72,76,73]输入: temperatures = [30,40,50,60]输入: temperatures = [30,60,90]输出: [1,1,4,2,1,1,0,0]输出: [1,1,1,0]输出: [1,1,0]
2025-12-31 11:32:05
209
原创 go语言八股
3、清除数据会产生heap碎片：在清除阶段，已标记为无需保留的对象会被去掉，留下的不连续的内存空间称为碎片。2、标记需要扫描整个heap（堆，内存空间），查看每一个对象是否仍可被程序引用，在大型应用程序中，这个过程可能会耗费大量时间资源。，而白色对象被黑色对象引用，可能没有被标记为灰色，这个白色对象就不被视为可达对象，从而可能错误地被回收。，一个进程可以包含多个线程，线程除了有一些自己的必要的堆栈空间之外，其他资源都是共享线程中的，协程切换时不需要切换。2、开始标记，程序找出它所有可达的对象，并做上标记。
2025-07-21 18:14:19
1078
1
原创 包含docker镜像run的python代码前台运行成功，后台运行失败
使用-it选项启动的容器将会保持STDIN打开，允许你向容器发送输入；分配一个伪终端，提供交互式shell环境；-虽然nohup & 可以使你的python脚本在后台运行，但它不能为docker容器提供一个交互式终端。前台运行包含运行如下命令的python代码，可成功运行，***替换为具体镜像。解决方案：删除-it，即可后台正常运行。
2024-10-10 10:03:43
396
原创 MarianMT进行文本数据增强
书写辅助函数，来翻译给定机器翻译模型。初始化模型，将英语翻译成罗曼语,如下命令查看所有可使用的增强语言。执行数据增强(英语到西班牙语)初始化将法语翻译成英语的模型。
2024-06-06 11:25:44
1086
原创 MUTAN readme文件（翻译）
这个任务涉及在一个由三元组组成的多模态数据集上以端到端的方式训练模型：1、一张图像，除了原始像素信息之外没有其他信息，2、有关关联图像上视觉内容的问题，3、对问题的简短回答（一个或几个词）。正如您在下面的插图中所看到的，VQA数据集的两个不同的三元组（但相同的图像）被表示出来。模型需要学习丰富的多模态表示，以便能够给出正确的答案。VQA任务仍然是活跃的研究领域。然而，当它被解决时，它可能对改进人机界面（尤其是对于视觉障碍者）非常有用。关于我们方法的简要洞察。
2024-02-03 11:05:09
1111
1
原创 论文笔记：Bilinear Attention Networks
多模态学习中的注意力网络提供了一种选择性地利用给定视觉信息的有效方法。然而，学习每一对多模态输入通道的注意力分布的计算成本是非常昂贵的。为了解决这个问题，共同注意力为每个模态建立了两个独立的注意分布，忽略了多模态输入之间的相互作用。在本文中，我们提出了双线性注意力网络（BAN），它可以找到双线性注意力分布来无缝地利用给定地视觉语言信息。BAN考虑两组输入通道之间的双线性交互，而低秩双线性池化提取每对通道地联合表示。此外，我们提出了一种多模态残差网络的变体，以有效地利用BAN的注意力图。
2023-12-18 15:11:26
2359
原创 bottom-up-attention-vqa-master 成功复现！！！
代码地址1、create_dictionary.py建立词典和使用预训练的glove向量（1）create_dictionary()遍历每个question文件取出所关注的question部分，qs遍历qs，对每个问题的文本内容进行分词，并将分词结果添加到字典中，True表示添加新词而非索引#创建词典#词典用于将文本数据中的单词映射到唯一的整数标识符def create_dictionary(dataroot): dictionary = Dictionary()
2023-12-16 18:21:07
2150
4
原创 循环神经网络
门的设计可自由选择哪些部分记忆，哪些部分不记忆，连乘消除梯度消失，Ws^(k-1)是导致可能梯度爆炸和梯度消失的主要原因。整个序列的损失函数即将所有时间步的算是函数相加求和。标准神经网络建模不适合带时间序列的任务场景。4、没有办法体现时序上的“前因后果”前后关联强，“前因后果”
2023-12-14 16:35:21
591
原创 Transfomer-学习笔记
我们认为，对于较大的dk值，点积的大小会变大，从而将softmax函数推入具有极小梯度的区域（训练就很慢了），为了抵消这个影响，我们将点乘积乘以。该处的mask用于比较“我喜欢你 P”和“S I Iove you . P”之间的关系，被翻译的句子和翻译的结果他们之间的关系。上图中，超过5的部分被截取掉，不足5的部分使用P进行填充，填充的P在注意力机制当中是没有意义的。上图中，1表示batchsize为1，5表示输入的5个单词，4表示每个单词用1*4的向量表示。将单组的QKV拆成多组的QKV。
2023-12-05 11:27:44
949
原创 Glove学习笔记
共现矩阵X为对称矩阵，共现次数和权重递减函数的乘积，从而达到距离越远的共现词对权重小，距离越近的共现词对权重大。我们用我们的见解，构建一个新的模型，Glove，全局向量的词表示，因为这个模型捕捉到全局预料的统计信息。窗口大小为2，表示中心词前后大小为2的区域的词语才与中心词有共现关系，窗口之外的词语就不能称之为共现。通过视频中的讲解主要了解共现矩阵及词向量损失函数推导过程及代码的使用！概率之间的比值更能捕捉词语之间的相关和不相关关系。LSA构建的是词语与文档的共现矩阵。
2023-11-30 15:47:14
600
原创 学习笔记：Pytorch 搭建自己的Faster-RCNN目标检测平台
Faster-RCNN可以采用多种的主干特征提取网络，常用的有VGG，Resnet，Xception等等。Faster-RCNN对输入进来的图片尺寸没有固定，但一般会把输入进来的图片短边固定成600.Resnet50expansion = 4 #最后一个卷积层输出通道数相对于输入通道数的倍数'''inplanes：输入通道数planes：卷积层输出的通道数stride：卷积的步长，默认为1downsample：是否对输入进行下采样'''#使用1*1卷积核，压缩通道数。
2023-11-30 15:08:07
1546
原创 论文笔记：Bottom-Up and Top-Down Attention for Image Captioningand Visual Question Answering
自顶向下和自底向上结合的注意力机制，使注意力能够在物体和其他显著图像区域的水平上进行计算。自底向上的机制(基于)提出图像区域，每个区域都有一个相关的特征向量，而自顶向下的机制确定特征权重。注意力机制上图是：左边：注意力模型在CNN特征上运行，这些特征对应于大小相等的图像区域的统一网格。右边：模型在物体和其他显著图像区域的水平上计算注意力。将非视觉或特定任务环境驱动的注意力机制称为“自顶向下”，将纯视觉前馈注意力机制称为“自底向上”。
2023-11-25 23:15:17
1442
原创 mysql 索引
数据库没有索引的情况下，数据分布在硬盘不同的位置上面，读取数据时，摆臂需要前后摆动查找数据，操作非常消耗时间。二叉搜索树的每个结点存储的是**（K,V）结构**，key是col2，value是该key所在行的文件指针（地址）。继续右侧数据，读89到内存，89==89；索引是存储引擎用于快速找到数据记录的一种数据结构，好比一本教科书的目录部分，通过目录中找到对应文章的页码，便可快速定位到需要的文章。在没有索引的情况下，不论是根据主键列或者其他列的值进行查找，由于我们并不能快速的定位到记录所在的页，所以只能。
2023-10-28 15:53:18
410
原创 复杂环境下人形机器人自动导航项目复盘
百度飞浆企业赛：乐聚机器人提供动作工程文件，aelos软件中可修改动作的每个舵机的数值。Aelos Smart零点设置MobXterm上通过ssh远程连接树莓派。
2023-10-11 17:27:03
1649
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人