- 博客(353)
- 资源 (8)
- 问答 (4)
- 收藏
- 关注
RSS订阅
原创 Ubuntu上学习使用Docker的详细入门教程
Ubuntu上使用Docker的简易教程文章目录Ubuntu上使用Docker的简易教程说在开头Docker是什么、有什么优点什么是镜像（image）和容器（container）如何获取镜像从网络`docker pull``docker run`从他人处`docker load`如何使用镜像如何使用容器创建容器进入容器已退出的容器后台分离模式运行的容器进入启动的容器退出容器删除容器停止正在运行的容器从本机与容器中互相拷贝数据如何生成镜像`docker build``docker commit`如何分享镜像
2020-08-03 16:53:59
19894
4
原创 Agent Skills | 技能生成、优化与生命周期管理
本文围绕四篇关于"智能体技能"的研究论文展开讨论，探讨了在不频繁修改模型权重的情况下，如何将可复用的过程性知识作为外部技能，成为智能体持续改进的主要载体。四篇论文分别从记忆技能、技能生成评估、技能优化和完整技能框架等不同角度切入，共同关注技能作为外部适配层对智能体性能提升的作用。研究揭示了技能系统需要解决的三个关键问题：技能来源的可靠性、目标智能体的消费能力以及独立反馈验证机制。这些工作为构建以技能为中心的智能体框架提供了理论基础和技术路径，表明外部技能可以成为智能体积累和复用经验的有效方式。
2026-06-01 15:11:24
445
原创 循环与注意力：多算几步到底值不值
本文探讨了六篇关于“循环”机制的论文，重点分析了循环计算在深度学习中的新应用形式。这些研究不是简单回归传统RNN，而是在Transformer等并行架构中探索如何通过多步观察、深度循环、动态停止等策略优化计算效率和信息处理能力。
2026-05-30 15:15:09
340
原创 深度隐式层 | 可微优化
本文重点讨论了将优化问题解作为网络层的实现方法。首先区分了传统参数优化与作为网络组件的优化层，后者通过求解小规模凸优化问题定义层输出。作者以凸优化问题为例，阐述了KKT条件作为最优解的充要条件，并展示了使用cvxpy库求解的具体示例。关键贡献在于将优化求解器视为寻找KKT条件根的过程，从而实现对优化层的微分，使其能够嵌入神经网络并参与端到端训练。这种方法为学习硬约束和解释常见非线性激活函数提供了新视角。
2026-05-28 15:35:08
410
原创 深度隐式层 | 深度平衡模型 (Deep Equilibrium, DEQ)
深度平衡（DEQ）模型是一种新兴的隐式层架构，通过寻找神经网络迭代过程的不动点来实现计算。该模型将传统深度网络视为无限层迭代的平衡状态，使用单层即可表达任意深度的网络结构。DEQ的核心思想是通过直接求解平衡方程z*=f(z*,x)来替代显式的层间计算，这种方法在视觉和NLP任务中展现出与先进技术竞争的性能。关键优势包括：1)利用现代深度架构表达完整网络计算；2)通过寻根而非迭代直接寻找不动点。理论分析表明，单层DEQ可表示任意网络结构，且能避免多层堆叠。通过隐函数定理实现的高效反向传播，使DEQ能无缝集成到
2026-05-28 14:56:40
392
原创 深度隐式层 | 神经常微分方程
本文介绍了如何使用微分方程求解器构建连续时间或连续深度的神经网络模型。详细说明了构建ODE-Net的关键步骤：定义动力学函数、使用odeint求解器，以及通过vmap实现批处理。最后，作者将ODE-Net应用于1D玩具数据集，并与ResNet的预测结果进行对比。
2026-05-28 13:36:33
665
原创 深度隐式层 | 隐式函数与自动微分
本文探讨了不动点求解器的高效微分方法。通过隐函数定理提出了一种避免传统自动微分内存消耗过大的新方法，即利用不动点方程的特性直接计算梯度。文章为优化算法和隐式层的微分提供了理论基础和实现方案。
2026-05-27 23:04:39
466
原创 深度隐式层 | 从显式层到隐式层
本文介绍了深度学习中的隐式层概念，与传统显式层不同，隐式层通过指定输出应满足的条件而非直接计算步骤来定义。文章以自注意力层为例说明显式层的典型实现方式，然后引入隐式层的数学形式：通过求解方程g(x,z)=0来确定输出z。隐式层的主要优势包括：1) 将层定义与求解过程分离，提高模块化；2) 利用隐函数定理直接计算梯度，减少内存消耗。文中以tanh激活的不动点迭代层为例，展示了隐式层的实现方法，并指出这类层在优化问题、微分方程求解等领域的广泛应用潜力。
2026-05-27 22:20:30
553
原创 循环推理模型：把思考搬进隐空间
循环推理模型（RRM）提出了一种新的AI推理范式，将部分计算从显式token序列转移到隐空间中进行。传统大模型通过增加token数量来延长推理，而RRM通过在隐状态中反复迭代更新来提升推理深度。典型代表HRM采用分层递归结构，通过高低层模块的交替更新实现渐进式推理；TRM则简化设计，仅通过隐状态和当前答案的循环改进就能取得良好效果。这类模型面临梯度不稳定和错误收敛两大挑战，但通过深监督和内部质量信号等机制得以缓解。
2026-05-26 15:11:28
596
原创 Welford算法 | 从单一到批次
介绍了Welford算法及其批处理变体，用于高效计算大数据的全局均值和方差。针对内存有限场景，该算法只需单次遍历数据，不保存历史样本，且数值稳定。
2026-05-22 18:16:31
950
原创 ArXiv 2507 | Franca: Nested Matryoshka Clustering for Scalable Visual Representation Learning
Franca模型通过创新的嵌套套娃聚类、循环掩码和绝对空间属性剥离技术实现了有效的视觉基础模型。该模型完全开源，使用公开数据集训练，在多项任务上超越DINOv2等主流模型。其核心创新包括：1）嵌套套娃聚类通过多粒度特征学习实现从宏观到微观的语义捕捉；2）循环掩码策略打破空间连续性，迫使模型深入理解语义；3）RASA技术分离空间位置与语义内容。这些设计使Franca 能获得更纯净的特征表示，有效解决了当前视觉基础模型存在的语义模糊性、局部惰性和空间纠缠等问题。
2026-05-08 16:20:17
470
原创 从概率估计到“LLM 训练是有损压缩”
本文探讨了如何用信息论方法分析大语言模型（LLM）的内部表征，重点讨论了互信息与熵的估计难题。由于LLM隐藏状态是高维连续向量，传统网格划分方法面临维数灾难;。文章比较了K近邻估计、神经互信息估计和参数化密度估计等方法的优劣，最终引入软熵估计器作为工程折中方案。
2026-05-01 22:20:20
416
原创 同时扰动随机逼近（SPSA）前向差分
同时扰动随机逼近SPSA是一种高效的随机梯度估计方法，适用于高维黑盒优化问题。它通过在所有参数维度上施加随机扰动，仅需两次函数评估即可获得无偏梯度估计，计算成本与维度无关。相比传统有限差分法（计算成本随维度线性增长），SPSA牺牲单次估计精度换取超高维场景下的计算效率，其理论依据是通过随机方向的统计平均恢复真实梯度。该方法在不可微函数、超高维参数和噪声环境等传统方法失效的场景中表现出显著优势。
2026-04-08 22:18:08
619
原创 前向差分与雅可比-向量积（Jacobian-Vector Product, JVP）机制探讨
本文探讨了深度学习中的高维求导方法。传统反向传播（VJP）适用于标量损失函数对参数的求导，但在需要计算高维输出对输入方向导数的场景下效率不足。通过对比VJP和JVP的数学本质差异，指出JVP更适用于高维求导问题。同时重点分析了有限差分法的实现原理与误差特性。
2026-03-31 13:58:27
562
原创 高维空间的几何特性：从 QuIP 量化到储层计算的统一视角
高维几何中的随机正交性为机器学习算法提供了关键理论基础。在高维空间中，随机向量几乎必然近似正交，内积绝对值集中在 (1/\sqrt{n}) 附近。这一特性被广泛应用。在模型量化中，通过正交变换将权重矩阵中的异常值能量均匀分散，显著降低量化误差。在储层计算中，利用随机正交矩阵映射时序信号至高维空间，增强特征线性可分性，避免梯度问题。 二者的核心均依赖高维非相干性——正交变换的能量均摊与状态空间的正交化，分别解决了静态参数压缩和动态时序建模的难题。
2026-03-30 14:22:13
518
原创 告别“唯语料论”：用合成抽象数据为大模型开智
两篇论文提出pre-pre-training的大模型训练新范式，在接触自然语言前先用抽象合成数据训练模型底层逻辑能力。Procedural Pretraining使用经典算法数据，显著提升模型在语言、代码和数学任务的表现。Neural Cellular Automata则利用动态系统生成数据，实现自然语言的高阶统计学替代。
2026-03-28 17:17:50
512
原创 双线性插值与均匀B-样条完全指南
本文重点探讨了线性插值与B-样条核函数的等价关系。文章从离散图像的本质出发，指出放大时需要在像素间进行插值计算。通过对比一维空间中的最近邻、线性和三次样条插值方法，揭示了不同阶数插值在连续性、计算量和视觉效果上的差异。特别指出线性插值对应的核函数是B-样条中的一阶三角核（帽子函数），具有紧支撑特性，使计算仅需参考最近两个像素。最终论证了双线性插值实质上是一阶B-样条张量积的结论，为理解图像插值提供了理论依据。
2026-03-24 21:08:19
537
原创 ArXiv 2603 | 用神经元胞自动机训练语言模型：合成数据能超越自然语言吗？
作者认为，LLMs 中涌现的推理能力（few-shot learning、chain-of-thought 等），其本质依赖的是自然语言的底层计算结构，而非其语义内容本身。自然语言文本之所以有用，不是因为它谈论的是人类世界，而是因为它蕴含了从推理轨迹到程序性指令的多样结构——next-token prediction 迫使模型内化支持这些结构的潜在计算过程。
2026-03-23 21:16:29
693
原创 ArXiv:2603 | Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights
摘要： 本文提出了一种新颖视角，将预训练模型视为参数空间中的“专家灌木丛”（Neural Thickets），而非单一权重起点。研究发现，大型预训练模型周围的参数邻域内存在高密度的任务专家，这些专家可通过简单随机采样和集成获得。作者提出的RandOpt方法仅需随机采样参数扰动并集成最优解，无需梯度优化，即可达到与PPO、GRPO等复杂强化学习微调方法相当的性能。实验表明，模型规模与专家密度、多样性呈正相关，验证了“大海捞针”到“专家灌木丛”的范式转变。该方法为高效后训练提供了并行化新思路，尤其适合分布式场景
2026-03-20 14:26:37
607
原创 RWKV 的并行训练与 O(1) 推理
本文分析了Transformer注意力机制在推理时复杂度随序列长度线性增长的数学根源，指出softmax的全局归一化导致历史信息无法压缩。作为解决方案，RWKV-4采用WKV算子，通过设计仅依赖时间差的衰减系数，避免了softmax的非线性依赖。关键突破在于将WKV表达为可递推的仿射变换，使得状态更新具有O(1)复杂度。同时利用仿射变换的结合律特性，实现了训练时的并行计算。这种设计既保持了Transformer的表达能力，又解决了其推理效率瓶颈。
2026-03-19 18:03:39
518
原创 位翻转排列 (Bit-Reversal Permutation) 解析
位翻转排列是一种将数据索引的二进制位完全倒置的重排操作，本质上是分治算法在底层数据划分上的投影。该技术广泛应用于快速傅里叶变换（FFT）等算法中，通过内存重排实现高效原地计算。文章系统解析了位翻转的基本逻辑、物理意义及广义数学表达。
2026-02-24 21:42:34
1002
原创 Monarch矩阵：从设计直觉到数学推导与实际应用
Monarch矩阵是一种高效的矩阵参数化方法，旨在解决大模型中的计算和内存瓶颈。它结合块对角矩阵与排列操作，在保持硬件友好性的同时实现全局特征融合。Monarch矩阵通过数学优化将复杂度从O(N²)降至O(N^(3/2))，并兼容现代GPU架构。该方法已成功应用于大语言模型的线性层替代和高效架构设计，显著降低资源消耗而不损失模型性能。
2026-02-24 17:04:37
923
原创 从独立性、相关性到复杂动力系统
本文系统探讨了数据相关性分析的四个认知层级：线性相关（皮尔逊系数）捕捉严格比例关系，广义相关（斯皮尔曼系数）识别单调趋势，独立性检验（距离相关系数）判断变量是否完全无关，以及动力系统视角下的复杂耦合关系。文章揭示了不同方法的数学本质：皮尔逊系数对应向量夹角，斯皮尔曼系数基于秩变换，距离相关分析几何拓扑结构，而动力系统则需考虑时间演化的非线性吸引子。
2026-02-23 18:39:24
833
原创 PyTorch 的统计三剑客：bucketize, bincount 与 histogram
本文解析了PyTorch中三个易混淆的函数：torch.bucketize、torch.bincount和torch.histogram。bucketize用于连续值离散化映射，bincount高效统计整数频次，histogram直接生成数据分布直方图。三者关系可表示为histogram ≈ bincount(bucketize(input))。
2026-01-13 15:26:31
1413
原创 Welford 算法 | 优雅地计算海量数据的均值与方差
本文介绍了Welford在线算法，这是一种高效计算大数据集统计量的方法。针对内存不足时处理大规模数据的问题，文章对比了传统方差计算方法的缺陷（内存占用大、数值稳定性差），详细阐述了Welford算法的核心思想：通过维护均值、计数和平方差三个变量，实现增量式流式计算。该算法具有O(1)空间复杂度和O(N)时间复杂度，能有效避免数值计算中的精度损失问题。文中提供了Python实现代码和实际应用示例，展示了如何分块处理大规模CSV文件并计算全局统计量。最后推导了算法公式的数学原理，证明其数值稳定性优势。
2025-12-23 15:37:23
1944
原创 带噪学习 | Ambient Diffusion (NeurIPS 2023)下篇
本文介绍了Ambient Diffusion模型的采样过程，重点阐述了基于Tweedie公式的分数函数推导。通过分析前向过程的线性高斯特性，证明了分数函数$\nabla_{x_t} \log p_t(x_t)$可表示为$\frac{\mathbb{E}[x_0 | x_t] - x_t}{\sigma_t}$。文章详细推导了从条件分布到边缘分布的转换过程，并解释了如何用训练得到的$\mathbb{E}[x_0 | \tilde{A}x_t, \tilde{A}]$替代常规条件期望。最后基于概率流ODE理论，
2025-12-17 17:09:15
1078
原创 带噪学习 | Ambient Diffusion (NeurIPS 2023) 上篇
Ambient Diffusion能够在仅使用高度损坏样本（如缺失90%像素的图像）的情况下学习干净数据的分布。核心创新是在扩散过程中引入额外测量失真，迫使模型从进一步损坏的图像中预测原始损坏样本，从而避免记忆训练数据。
2025-12-17 16:42:43
1006
原创 神经网络 | 从线性结构到可学习非线性
CNN、Transformer、ONN（Operational Neural Network）、KAN、KAT、rKAN、FC-KAN
2025-12-08 16:31:35
1435
原创 储层计算 (Reservoir Computing) 概述
储层计算（RC）通过固定非线性储层与可训练线性读出的解耦设计，克服了传统递归神经网络训练中的梯度问题。其核心在于利用高维动力系统将输入信号映射到线性可分空间，仅需训练输出层权重。数学证明表明，当储层权重矩阵的谱半径满足特定条件时，系统具备回声状态属性和衰退记忆特性，确保状态收敛并遗忘久远历史。RC架构从随机连接演进到结构化拓扑（如简单环、带跳跃环），并发展出深度堆叠等变体，显著提升了计算效率与性能。这一范式为时间序列建模提供了高效解决方案。
2025-12-06 16:49:04
1453
原创 告别乱码：OpenCV 中文路径（Unicode）读写的解决方案
本文针对OpenCV中文路径读取失败问题，提出了一种基于C++17标准库的跨平台解决方案。核心思路是：使用std::filesystem处理中文路径，利用std::fstream进行二进制文件读写，最后通过OpenCV的imdecode和imencode函数实现图像编解码。
2025-11-03 21:10:06
1841
原创 生成模型 | DDPM -＞ Imrpoved DDPM -＞ DDIM
本文介绍了三种扩散模型变体：DDPM、Improved DDPM和DDIM。DDPM通过迭代去噪过程生成样本，但采样速度较慢。Improved DDPM改进了噪声调度策略，采用余弦形式的调整，并引入混合损失函数以优化训练。DDIM则通过非马尔可夫链设计，在保持相同训练目标的同时，显著加快采样速度。这三种方法在扩散模型的噪声处理、损失函数设计和采样效率上各有创新，推动了扩散模型在生成任务中的性能提升。
2025-08-24 21:16:06
1302
原创 生成模型 | 扩散模型损失函数公式推导
本文推导了扩散模型的损失函数，通过引入前向分布简化计算，最终将损失分解为三部分：$L_T$（可忽略的常量）、$L_{t-1}$（KL散度项）和$L_0$（重构误差）。
2025-08-23 18:20:41
1937
原创 生成模型 | 扩散模型公式推导
本文介绍了扩散模型的前向加噪和反向去噪过程。前向过程通过马尔科夫链逐步将数据$x_0$转化为高斯噪声$x_T$，其中噪声强度由预设参数$\beta_t$控制。反向过程则利用神经网络从噪声$x_T$逐步恢复原始数据$x_0$。
2025-08-23 11:00:46
1999
原创 ICCV 2025 | Reverse Convolution and Its Applications to Image Restoration
本文提出了一种新颖的深度可分离反向卷积算子（reverse convolution），通过建立并求解正则化最小二乘优化问题，实现了对depthwise卷积的有效反转。该算子采用FFT推导闭式解，并详细研究了核初始化、padding策略等实现细节。基于此构建的reverse卷积块结合了层归一化、1×1卷积和GELU激活，形成类Transformer结构，可直接替换现有网络中的常规卷积层，构建ConverseNet。
2025-08-17 16:50:23
2594
原创 TCSVT 2023 | StructToken - Rethinking Semantic Segmentation with Structural Prior
一种新的语义分割范式，通过结构化token直接构建语义掩码并逐步细化，而非传统逐像素分类方法。作者设计了三种交互结构（CSE、SSE和静态卷积）来捕获特征图中的结构信息，并通过堆叠处理单元实现mask细化。
2025-08-17 11:21:57
1642
原创 torchvision 中 deform_conv2d 操作的经验性解析
详细解析了torchvision中可变形卷积(deform_conv2d)的实现原理和使用方法。
2025-08-17 11:01:30
1746
原创 一次由默认参数引起的思考
本文探讨了依赖版本更新导致代码输出不一致的问题。作者在迁移代码时发现，由于Pillow图像处理库从6.2.1升级到7.2.0，其默认插值策略改变导致resize()函数输出结果不同。文章分析了默认参数的利弊，指出其虽提升开发效率但存在潜在风险。作者建议采取两种应对策略：一是固定依赖版本确保稳定性；二是对关键参数进行显式配置。最后强调开发应以程序稳定运行为首要目标，盲目追求新版本可能得不偿失，并提醒开发者需谨慎对待工具依赖的版本管理。
2025-08-17 10:53:11
1471
原创 TIP 2004 | Image quality assessment: From error visibility to structural similarity
本文介绍了全参考图像质量评估方法SSIM（结构相似性指数）的设计背景与实现。传统评估方法如MSE和PSNR虽计算简单，但与人类感知质量匹配度低。SSIM基于结构信息退化假设，通过亮度、对比度和结构三个分量评估图像质量。论文详细阐述了SSIM的算法框架，并对比了不同实现的高斯滤波处理方式差异。作者基于PyTorch实现了可微分的MSSIM代码，支持用户自定义padding和核形式参数，确保与现有实现兼容。该指标在图像处理系统优化、算法评估等领域具有重要应用价值。
2025-08-17 10:44:32
2081
原创 ACMMM 2024 | Wave-Mamba: Wavelet State Space Model for Ultra-High-Definition Low-Light Image Enhance
针对超高清低照度图像增强中的计算复杂度和信息丢失问题，提出Wave-Mamba模型。该模型创新性地结合离散小波变换（DWT）与状态空间模型（SSM），通过小波域分析发现：1）93.7%图像能量集中于低频分量；2）高频对增强结果影响微弱。基于此，设计低频状态空间模块（LFSSBlock）进行全局增强，并通过改进的高频增强模块（HFEBlock）校正细节。
2025-08-01 12:33:12
1995
Arduino与LabVIEW互动设计
2017-09-03
我和LabVIEW 一个NI工程师的十年编程经验
2017-09-03
《Arduino与LabVIEW开发实战》配套代码
2017-09-03
关于manjaro的谷歌拼音的问题
2018-05-18
关于vim插件管理的问题
2018-01-20
TA创建的收藏夹 TA关注的收藏夹
TA关注的人