![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
算法
文章平均质量分 79
第六五签
这个作者很懒,什么都没留下…
展开
-
多项式近似
Pxanxnan−1xn−1⋯a1xa0Pxanxnan−1xn−1⋯a1xa0其中,anan−1a1a0anan−1a1a0是常数系数,nnn是非负整数,表示多项式的最高次幂。原创 2024-07-11 11:24:43 · 381 阅读 · 0 评论 -
常微分方程的离散化
常微分方程的离散化是通过将连续的微分方程转换成离散的形式来进行数值计算的方法,这在计算机模拟和工程问题求解中非常重要。离散化方法允许我们在离散的时间点上近似解微分方程。假设有一阶微分方程dtdyfty,给定初始条件yt0y0。在前向欧拉方法中,下一个时间点的值yn1由当前时间点yn加上当前斜率ftnyn与时间步长hyn1ynhftnyn其中h是时间步长,tn1tnh。原创 2024-07-11 09:45:31 · 426 阅读 · 0 评论 -
Score matching
我们选择模型分布为正态分布pmodelx;θNx;θNx;θ1θ22,其中θθ1θ2θθ1θ2是我们要估计的参数。原创 2024-07-10 12:14:21 · 508 阅读 · 0 评论 -
VQ正则化
VQ正则化(Vector Quantization Regularization)通常是在机器学习和特别是在深度学习领域中用来提高模型性能和泛化能力的一种技术。VQ,即向量量化,是一种将向量空间中的点映射到有限数量的代表点(或称为码本或聚类中心)上的过程。这种量化可以简化模型的表示,从而帮助减少过拟合并提高模型的泛化能力。在深度学习模型中,VQ正则化通常与自编码器结合使用。自编码器旨在通过一个编码过程学习输入数据的有效表示,然后通过一个解码过程尝试重建输入数据。原创 2024-06-19 11:53:23 · 317 阅读 · 0 评论 -
图像的高频和低频细节
在图像处理和计算机视觉中,"高频"和"低频"是用来描述图像中不同类型细节的术语。这些术语源自信号处理领域,其中频率的概念用于描述信号随时间变化的,但在图像处理中,它们被用来描述图像随空间变化的,即图像中像素值的变化率。原创 2024-06-19 11:34:10 · 465 阅读 · 0 评论 -
High-variance latent spaces
在生成模型(如生成对抗网络GANs或变分自编码器VAEs)中,高方差的潜在空间可能允许模型生成更多样化和创造性的输出,因为潜在空间中的每个点都可能对应于一个独特的输出。:然而,高方差也可能导致模型在训练数据上过拟合,因为它可能过于复杂,捕捉到了训练数据中的噪声和细节,而不是真正的数据结构。:潜在空间中的特征向量可能代表了输入数据的多种不同特征或模式,这可能有助于模型捕捉到数据的复杂性和多样性。:高方差的潜在空间可能有助于模型更好地泛化到新的、未见过的数据上,因为它能够捕捉到更广泛的数据变化。原创 2024-06-19 11:12:31 · 290 阅读 · 0 评论 -
Score Matching(得分匹配)
Score Matching(得分匹配)是一种统计学习方法,用于估计概率密度函数的梯度(即得分函数),而无需知道密度函数的归一化常数。这种方法由Hyvärinen在2005年提出,主要用于无监督学习,特别是在密度估计和生成模型中。原创 2024-06-17 21:51:43 · 690 阅读 · 0 评论 -
Langevin动力学
Langevin动力学是一种数学模型,用于描述带有摩擦和随机扰动的粒子的运动。它是经典动力学与统计物理学的结合,尤其在研究布朗运动和其他由热涨落驱动的现象时非常重要。mdt2d2x−γdtdxηtFxtmdt2d2xγγdtdxηt⟨ηt)⟩0⟨ηtηt′)⟩Fxt物理上,Langevin动力学提供了一种描述处于热环境中的微观或纳米尺度粒子如何因热扰动而进行随机运动的方式。原创 2024-06-17 21:34:49 · 804 阅读 · 0 评论 -
退火朗之万动力学采样
退火朗之万动力学采样(Simulated Annealing Langevin Dynamics Sampling)结合了退火技术和朗之万动力学,是一种用于分子模拟和统计物理中的计算方法。这种方法可以帮助系统从局部最小值中逃逸,以找到全局最小值或进行有效的配置空间探索。原创 2024-06-17 12:24:32 · 466 阅读 · 0 评论 -
Fisher散度
但是,它在理论分析中非常有用,特别是在自然梯度下降和其他基于信息几何学的优化算法中,因为Fisher信息矩阵(Fisher散度的矩阵形式)可以用来调整参数更新的方向和步长,以更自然地通过参数空间移动,从而提高学习效率。Fisher散度是用来量化一个概率分布在参数空间的局部变化情况的,它是Fisher信息矩阵的一部分。Fisher散度本身是一个比较抽象的概念,它通常不直接用于数据分析的实际操作,但它的概念和衍生工具(如Fisher信息和自然梯度)在机器学习中有广泛的应用。之间的差异,它可以定义为真实分布。原创 2024-06-17 10:32:28 · 407 阅读 · 0 评论 -
能量函数和能量基模型介绍
能量函数在物理学中通常描述系统的潜在能量,而在统计物理和机器学习中,特别是在能量基模型(Energy-Based Models,EBMs)中,它用来描述系统状态的概率。在机器学习的上下文中,能量函数是一个映射,它将系统的状态(例如,数据样本)映射到一个实数值,该实数值代表该状态的能量。通常,低能量对应于更可能(或更优)的状态,而高能量对应于不太可能(或更差)的状态。能量基模型的目标是学习一个能量函数,这个函数能很好地表示数据的概率分布。原创 2024-06-17 10:04:40 · 377 阅读 · 0 评论 -
Langevin动力学
Langevin动力学是一种数学模型,用于描述带有摩擦和随机扰动的粒子的运动。它是经典动力学与统计物理学的结合,尤其在研究布朗运动和其他由热涨落驱动的现象时非常重要。mdt2d2x−γdtdxηtFxtmdt2d2xγγdtdxηt⟨ηt)⟩0⟨ηtηt′)⟩Fxt物理上,Langevin动力学提供了一种描述处于热环境中的微观或纳米尺度粒子如何因热扰动而进行随机运动的方式。原创 2024-06-17 10:04:06 · 376 阅读 · 0 评论 -
高斯线性模型
线性高斯分布,也称为高斯线性模型或条件高斯分布,是一种特定的概率分布模型,涉及到变量之间的线性关系,其中变量服从高斯(正态)分布。这个模型广泛应用于统计学、信号处理、机器学习等领域,特别是在贝叶斯网络和卡尔曼滤波中非常重要。xAzbϵ其中,xzAzxbϵϵ∼N0Σ在这个模型中,给定z的条件下,x的分布是高斯分布,其均值是线性依赖于z的,而协方差是固定的。这种属性使得线性高斯模型在分析和计算上非常方便,特别是可以通过解析方法来进行推断和参数估计。原创 2024-06-16 17:56:28 · 536 阅读 · 0 评论 -
蒙特卡洛估计举例
计算期望Eqx1∣x0logpθx0∣x1)]需要知道分布qx1∣x0和函数logpθx0∣x1。这个期望表示的是,在给定x0的条件下x1的概率分布q,对数概率logpθx0∣x1的平均值。其中,pθx0∣x1是参数化条件概率分布,参数由θ给出。qx1∣x0:你需要有q。原创 2024-06-16 17:55:57 · 335 阅读 · 0 评论 -
边际密度假设
边际密度假设中的“高密度”和“低密度”概念帮助我们理解数据在特定变量取值下的分布情况。高密度区域表示数据点频率较高,较为集中,而低密度区域表示数据点频率较低,较为分散。这些概念在异常检测、聚类分析和概率模型构建等应用中具有重要作用。低密度假设(Low-Density Assumption)中的“低密度”指的是在特征空间中,数据点在某些区域的分布较为稀疏。这些低密度区域通常包含较少的数据点,与高密度区域(数据点集中的区域)形成对比。数据点稀少。原创 2024-06-05 17:27:26 · 914 阅读 · 0 评论 -
KD-Trees(K-dimensional树)和Octrees(八叉树
KD-Trees和Octrees都是用于高效处理多维空间数据的数据结构。KD-Trees适用于任意维度的空间,而Octrees专门用于三维空间。两者都通过递归分割空间来组织数据,从而支持高效的查询操作,如最近邻搜索和范围查询。在实际应用中,选择哪种数据结构取决于具体的需求和数据特性。原创 2024-05-31 12:09:44 · 324 阅读 · 0 评论 -
流形学习(Manifold Learning)
在低维空间中(通常是二维或三维),为每对点定义相似性。原创 2024-05-29 22:49:29 · 1431 阅读 · 2 评论 -
标签平滑(Label Smoothing)
例如,一个经过平滑的标签可能看起来像这样(假设平滑参数为0.1):[0.01, 0.01, 0.9, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01, 0.01]。在没有标签平滑的传统训练过程中,我们通常使用硬目标(hard targets),即每个训练样本的目标标签用一个one-hot编码向量表示,其中正确类别位置为1,其余为0。例如,在一个10类分类问题中,第三类的标签将表示为[0, 0, 1, 0, 0, 0, 0, 0, 0, 0]这样的向量。原创 2024-04-18 21:24:24 · 481 阅读 · 0 评论 -
点采样算法(Farthest Point Sampling, FPS)
远点采样算法(Farthest Point Sampling, FPS)是一种用于点云数据下采样的算法。它的目的是从一个大规模的点集中选择一个子集,使得子集中的点云能够尽可能代表原始点云的形状特征。然而,FPS的一个缺点是计算效率相对较低,因为需要计算所有未采样点到已采样点集的距离,并找出最远点。远点采样算法的优点在于能够保持点云的覆盖范围和形状特征,因为它优先选择那些在几何上较为孤立的点。FPS的基本思想是不断选择当前还未被选择的、距离已选点集最远的点,直到达到预设的点数或者覆盖整个数据集。原创 2024-03-28 11:30:53 · 591 阅读 · 0 评论 -
正则化和贝叶斯的关系
正则化和贝叶斯方法在机器学习和统计学中都是用来处理过拟合和提高模型泛化能力的技术,它们之间存在着密切的联系。要理解这两者的关系,我们首先需要回顾它们各自的基本概念。原创 2024-03-23 20:15:53 · 1068 阅读 · 0 评论 -
UniRepLKNet_ A Universal Perception Large-Kernel ConvNet
大核卷积神经网络(ConvNets)最近受到了广泛的研究关注,但有两个尚未解决的关键问题需要进一步的研究。1)现有的大核卷积网的架构在很大程度上遵循了传统的卷积网或transformer的设计原则,而针对大核卷积网的架构设计仍未得到充分解决。2)由于transformer主导了多种模式,convnet是否在视觉之外的领域也具有很强的普遍感知能力仍有待研究。在本文中,我们从两个方面进行了贡献。原创 2024-03-12 09:59:20 · 403 阅读 · 0 评论 -
LORA_ LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
作者提出了低秩自适应,或称LoRA,它冻结了预先训练的模型权值,并将可训练的秩分解矩阵注入变压器架构的每一层,大大减少了下游任务的可训练参数的数量。学习到的过度参数化模型实际上存在于一个较低的内在维度上。作者假设模型适应过程中权重的变化也具有较低的“内在秩”,这导致了作者提出的低秩适应(LoRA)方法。LoRA允许作者通过优化适应过程中密集层变化的秩分解矩阵来间接训练神经网络中的一些密集层,同时保持预先训练的权值冻结,如图1所示。原创 2024-03-11 22:24:44 · 1090 阅读 · 0 评论 -
FLatten Transformer_ Vision Transformer using Focused Linear Attention
当将transformer模型应用于视觉任务时,自注意的二次计算复杂度(n2n^2n2)一直是一个持续存在的挑战。另一方面,线性注意通过精心设计的映射函数来近似Softmax操作,提供了一个更有效的替代方法。然而,当前的线性注意方法要么遭受显著的性能下降,要么从映射函数中引入额外的计算开销。在本文中,作者提出了一种新的聚焦线性注意模块,以实现高效率和表达性。具体来说,首先从聚焦能力和特征多样性两个角度分析了导致线性注意性能下降的因素。原创 2024-03-11 21:36:22 · 987 阅读 · 0 评论 -
经验风险最小化(Empirical Risk Minimization, ERM)
经验风险最小化(Empirical Risk Minimization, ERM)是机器学习中的一个基本原则,它旨在通过最小化训练数据集上的损失来训练模型。这种方法基于这样一个假设:通过最小化模型在训练集上的误差(即经验风险),模型在未知数据上的表现(即泛化能力)也会得到提升。ERM框架下的目标是找到一个函数,使得这个函数在训练数据集上的平均损失最小。原创 2024-03-05 19:11:34 · 912 阅读 · 0 评论 -
容量控制(Capacity Control)
容量控制(Capacity Control)是机器学习和深度学习中一项重要的概念,它涉及到调整模型的能力,使其既能够从训练数据中学习规律,又能够良好地泛化到新的、未见过的数据上。模型的“容量”指的是其拟合各种函数的能力。一个容量过大的模型可能会过拟合(即,在训练数据上表现得很好,但在新数据上表现不佳),而容量过小的模型可能会欠拟合(即,即使在训练数据上也不能表现良好)。原创 2024-03-05 19:03:27 · 493 阅读 · 0 评论 -
Normalization归一化方法
【代码】Normalization归一化方法。原创 2024-03-05 10:56:45 · 1192 阅读 · 0 评论 -
Score matching
Score matching 是一种用于估计概率模型参数的技术,由 Aapo Hyvärinen 在 2005 年提出,主要用于那些概率密度函数难以归一化的情况。在许多概率模型中,确切计算模型的归一化常数是不可行的,因为它涉及到整个数据空间的积分或求和,这在高维数据中尤其困难。Score matching 为这类模型提供了一种有效的估计参数的方式。原创 2024-03-04 20:28:27 · 1036 阅读 · 0 评论 -
高斯扩散过程
高斯扩散过程是一种数学模型,用于描述某些随机现象的时间演化,其中这些现象的概率密度函数(PDF)符合高斯分布,也称为正态分布。在物理和工程学领域,此类过程通常被用来描述热扩散、粒子扩散、概率密度演变等,比如某个物理量(如粒子的位置、温度、浓度等)的分布随时间发展趋向于或保持高斯分布(也称为正态分布)。原创 2024-03-01 20:14:18 · 1676 阅读 · 0 评论 -
模拟退火(Simulated Annealing,SA)
模拟退火(Simulated Annealing,SA)是一种全局优化算法,它用于寻找给定问题的近似全局最优解。算法受到物理中固体退火过程的启发,物质在高温下具有较高的能量状态,随着温度的缓慢降低,物质的内部结构会逐渐稳定在最低能量的晶格结构上。在优化问题中,这一过程被用来找到一个良好的近似全局最优解。原创 2024-03-01 18:53:45 · 1197 阅读 · 0 评论 -
空间统计模型
SAR模型可以定义为一个线性模型,其中一个单元的值不仅取决于解释变量,还取决于邻近单元的值(空间滞后)。它通常包括两个主要组成部分:空间滞后的因变量,以及空间滞后的误差项。原创 2024-02-29 17:19:04 · 1028 阅读 · 0 评论 -
矩阵的对角化
概述对角化矩阵是线性代数中的一个重要概念,它涉及将一个方阵转换成一个对角阵,这个对角阵与原矩阵相似,其主要对角线上的元素为原矩阵的特征值。这样的转换简化了很多数学问题,特别是线性动力系统的求解和矩阵的幂运算。下面是对角化的一些常用方法:经典的特征值和特征向量方法:求出矩阵的特征值和对应的特征向量。如果矩阵有n个线性无关的特征向量,那么这个矩阵就可以对角化。构建一个由特征向量组成的矩阵P,以及一个对角线上元素为对应特征值的对角矩阵D。然后原矩阵A可以表示为 A=PDP−1A = PDP^{-原创 2024-02-27 16:17:26 · 3655 阅读 · 0 评论 -
归纳偏置(Inductive Bias)
归纳偏置(Inductive Bias)在机器学习中是一个极其重要的概念,指的是一个学习算法在面对同样的观测数据时对可能的解决方案做出的偏好。偏置太强可能会导致模型无法捕捉到数据中的所有相关模式(即欠拟合),而偏置太弱可能会使模型对训练数据过度敏感(即过拟合)。因此,理想的归纳偏置应当使模型在假设的表达力和泛化能力之间达到平衡。归纳偏置是必需的,因为没有它,一个学习算法在面对有限的数据时无法作出任何泛化。这是因为根据归纳原理,从特例(训练数据)推广到一般(新的、未见过的实例)的过程并不总是逻辑上合理的。原创 2024-02-27 10:39:21 · 549 阅读 · 0 评论 -
状态空间模型(SSM)
术语状态空间模型具有非常广泛的含义,它简单地表示任何具有潜在状态的循环过程的概念。它已被用来指代不同学科中的许多不同概念,包括马尔可夫决策过程 (MDP)(强化学习(Hafner 等人,2020))、动态因果建模(DCM)(计算神经科学(Friston、Harrison 和 Penny 2003) ))、卡尔曼滤波器(控制(Kalman 1960))、隐马尔可夫模型(HMM)和线性动力系统(LDS)(机器学习)以及循环(有时是卷积)模型(深度学习)。原创 2024-02-26 11:36:20 · 6221 阅读 · 0 评论 -
优化进化算法
进化算法(Evolutionary Algorithms, EAs)是受自然选择和生物进化机制启发而发展起来的一类优化算法。它们使用模拟生物进化的技术来解决复杂的优化问题,其核心思想是通过选择(Selection)、遗传(Crossover)和变异(Mutation)等操作,对候选解进行迭代优化,以期寻找到问题的最优解或足够好的解。进化算法广泛应用于工程优化、机器学习、人工智能、经济模型、生态模型、机器人控制和其他领域的问题求解。原创 2024-02-26 09:45:13 · 1271 阅读 · 0 评论