zik的博客

正则表达式是一个强大的工具，但复杂的模式可能会难以理解和维护。建议在编写复杂正则时添加注释或拆分为多个简单的正则表达式。正则表达式(Regular Expression)是处理字符串的强大工具，Python通过。模块提供正则表达式支持。默认是贪婪匹配(尽可能多的匹配)，在量词后加。变为非贪婪匹配(尽可能少的匹配)搜索字符串中第一个匹配项。从字符串开头匹配模式。返回所有匹配项的列表。

本文整理了Python编程中常用的几个实用技巧：1) 使用正则表达式将运算表达式字符串拆分为列表，详细解析了匹配数字、运算符和括号的模式；2) 堆操作的两种实现方式（直接导入和heapq模块）；3) 二分查找的bisect模块用法；4) 组合排列数的计算方法；5) 十六进制字符串与十进制的转换；6) 字符与ASCII码的互相转换。这些代码片段涵盖了算法实现中常见的数据处理和数学运算需求。

高斯泼溅Gaussian Splatting (GS) GS 模型采用一组 3D 高斯函数来表示 3D 场景。每个高斯分布都由一组参数来表征，即指定其中心的位置（平均值）、定义高斯分布的形状和方向的协方差矩阵、控制透明度级别的不透明度及其颜色由球谐函数 (SH)表示。GS 通过优化所有 3D 高斯参数来表示辐射场。此外，GS算法的计算效率源于其渲染过程，它利用了高斯分量的投影特性。

DDIM（Denoising Diffusion Implicit Models）能够加速采样的关键在于它打破了传统扩散模型（如DDPM，Denoising Diffusion Probabilistic Models）中依赖的马尔可夫性质，并通过重新定义反向过程的概率分布来实现这一点。以下是DDIM加速采样的原理：非马尔可夫性质：自定义反向过程分布：保持一致性：灵活的噪声控制：简化的目标函数：综上所述，DDIM通过引入非马尔可夫性质、重新定义反向过程分布并保持数据分布的一致性，实现了比DDPM更快的采样速

然而，在VAE中，我们不是直接学习一个确定的编码，而是学习一个概率分布——具体来说，是潜在变量的一个近似后验分布。总结来说，虽然AE和VAE都是基于编码-解码架构的神经网络，但它们的设计理念不同，导致了它们在功能上的差异：AE侧重于数据压缩和重构；就是隐变量的后验分布，算法中就采用一个参数化的神经网络（或者说一个参数化的函数） 去近似拟合这个后验概率分布，因此这个算法被称为 变分 自编码器。反过来而已， 这一部分也是用一个参数化的神经网络近似推断出这个条件概率分布，因此解码器部分也是一个变分推断的过程。

DDPM（Denoising Diffusion Probabilistic Models）中的加噪公式通常以根号形式出现，是由于在扩散过程中的噪声控制。softmax loss损失函数详解损失函数是机器学习和深度学习中用于衡量模型预测结果与真实结果之间差异的函数。均方误差 (Mean Squared Error, MSE)MSE1n∑i1nyi−yi2MSEn1​∑i1n​yi​−y​i​2用途：常用于回归问题，适合于数值型目标。

ROC通常指的是“接收者操作特性”（Receiver Operating Characteristic）曲线，这是一种广泛应用于医学、统计学、机器学习等领域的图形工具，用于描述二分类模型的性能。ROC曲线通过绘制真阳性率（True Positive Rate, TPR）与假阳性率（False Positive Rate, FPR）之间的关系来评估模型的性能。真阳性率（TPR）：也称为灵敏度或召回率，是指所有实际为正类的样本中被正确预测为正类的比例。

在使用语言模型（如基于Transformer的模型）时，模型在生成回答时会根据上下文生成一个一个的token。你提到的“我去哪里”是一个输入序列，模型的输出可能是“去北京”。输入序列的Embedding当你输入“我去哪里”时，模型会首先将这个句子转换为token embeddings。这些embeddings是通过查找词嵌入矩阵得到的，代表了每个token的语义信息。上下文表示模型在处理输入时，会通过自注意力机制结合输入序列中每个token的信息，生成每个token的上下文表示。

在二维互相关运算中，卷积窗口从输入数组的最左上方开始，按从左往右、从上往下的顺序，依次在输入数组上滑动。当卷积窗口滑动到某一位置时，窗口中的输入子数组与核数组按元素相乘并求和，得到输出数组中相应位置的元素。原创文章，转载告知，盗版必究。时间复杂度：O(n)空间复杂度：O(n)

然而，要注意的是，Python的全局解释器锁（GIL）可能限制了多线程在CPU密集型任务中的性能提升，此时多进程可能是更好的选择。对于基本的矩阵乘法算法，主要需要存储输入矩阵A和B以及输出矩阵C，因此空间复杂度是O(nm + mn + n*n) = O(n^2 + 2nm)。对于较大的矩阵乘法，虽然基本的三重循环方法直观且易于理解，但在实践中可能不是最高效的。总结来说，虽然理论上的时间复杂度较高，但得益于高效的库和算法，NumPy中的矩阵乘法在实践中表现得非常高效。矩阵乘法的一般时间复杂度是O(n。

二叉树中的 路径 被定义为一条节点序列，序列中每对相邻节点之间都存在一条边。非空节点的最大贡献值等于节点值与其子节点中的最大贡献值之和（对于叶节点而言，最大贡献值等于节点值）。解释：最优路径是 15 -> 20 -> 7 ，路径和为 15 + 20 + 7 = 42。解释：最优路径是 2 -> 1 -> 3 ，路径和为 2 + 1 + 3 = 6。输入：root = [-10,9,20,null,null,15,7]时间复杂度：O(n)空间复杂度：O(n)空间复杂度：O(n)空间复杂度：O(n)

参考BLIP2中Q-former详解Q-Former是一个轻量级的transformer，它使用一个可学习的query向量集，从冻结的视觉模型提取视觉特征。采取两阶段预训练策略阶段一：vision-language表示学习(representation learning)，迫使Q-Former学习和文本最相关的视觉表示。

具体细节查看/mnt/data/group/zzk/projects/models/InternVideo2-Chat-8B/modeling_internvideo2_vit.py的856行。下面代码是第三阶段的，图中Projection只用于第一阶段训练。详见InternVideo2_Paper。InternVideo2-Chat-8B-stage3的视频编码器。

计算图模式：PyTorch 是动态图，TensorFlow 是静态图（2.0以后支持动态图）。灵活性和调试性：PyTorch 更加灵活、易调试，TensorFlow 在性能和大规模部署上更有优势。用户群体：PyTorch 更适合科研和实验，TensorFlow 更适合生产和部署。总之，PyTorch 更注重代码的动态性和可操作性，而 TensorFlow 强调性能优化和部署灵活性。绝对位置编码的优点是计算速度快等，缺点是拓展长度比较麻烦，且绝对位置并没有什么实际意义。

扩散去噪概率模型（Denoising Diffusion Probabilistic Models，DDPM）详细介绍目录概述背景模型原理正向扩散过程反向去噪过程训练过程采样过程模型优势应用场景近期发展数学细节总结参考文献1. 概述扩散去噪概率模型（DDPM）是一类生成模型，利用马尔可夫链逐步添加和去除噪声来生成数据。它在图像生成、音频生成等领域表现出色，生成质量与生成对抗网络（GAN）相当甚至更好，同时训练更加稳定。2. 背景。

这是经典的会议室调度问题，目标是找到最少的会议室数量，确保每个会议都能顺利进行，且会议室之间不会时间冲突。给定一系列时间段开会[[s1,e1], [s2,e2], [s3, e3]]，求会议室的最小要求个数。，目标是找到最少的会议室数量，确保每个会议都能顺利进行，且会议室之间不会时间冲突。原创文章，转载告知，盗版必究。时间复杂度：O(n)空间复杂度：O(n)时间复杂度：O(n)空间复杂度：O(n)

雅可比矩阵softmax函数的导数可以表示为雅可比矩阵，其中对角线元素表示某一输出对自身输入的导数，非对角线元素表示输出对其他输入的导数。结合交叉熵损失的梯度：在机器学习中，softmax常与交叉熵损失结合使用，梯度计算简化为softmax输出减去目标标签。这种组合广泛用于多分类任务中的反向传播。欢迎大家关注笔者，你的关注是我持续更博的最大动力原创文章，转载告知，盗版必究。

Transformer的核心思想是使用自注意力机制（Self-Attention Mechanism）来建模序列数据中的依赖关系，取代传统的递归神经网络（RNN）和卷积神经网络（CNN）在处理序列任务时的局限性。具体来说，Transformer的架构主要由编码器（Encoder）和解码器（Decoder）组成，每个编码器和解码器模块由多头自注意力机制（Multi-Head Self-Attention Mechanism）和前馈神经网络（Feed-Forward Neural Network）组成。