- 博客(73)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 【不确定性量化、分布预测】DistPred：回归与预测的无分布概率推理方法
可端到端训练的概率推理模型，能在单个前向中推断大量样本，以估计响应变量的潜在分布。
2024-06-19 12:03:56
1317
2
原创 【减法网络】Minusformer：通过逐步学习残差来改进时间序列预测
该论文详细解释了时间序列预测存在的过拟合问题，并提出了使用深度减法网络（集成学习）来缓解过拟合现象。论文思路清晰、观点新颖，值得推荐！
2024-06-17 22:56:53
1222
原创 领域偏移：协变量移位下的域自适应
这可能不同于以T为条件的结果分布，因为可能存在T与Y相关的因素(例如，如果T是吸烟，Y是肺癌，可能存在一些基因，导致一个人更有可能吸烟，更有可能患肺癌，这说明了T和Y之间强烈的经验相关性;由于p≈(y | x, t)几乎肯定= p∗(y | x, t)，所以协变量移位假设成立。如果Y (0)， Y(1)⊥T | X，那么分布(X, T, Y (0)， Y(1))就是无混杂的。对于分布p∗0 (x, t, Y) = p≈(x)I[t = 0]p≈(Y | x, t = 0)，计算Ep≈[Y(0)]同样适用。
2024-10-01 11:21:26
277
原创 一种估计贝叶斯检索问题后验分布的神经网络方法
从遥感测量中反演大气量是一个逆问题，通常无法给出唯一、精确的解。测量和建模误差以及观测系统有限的灵敏度使得无法为给定的观测分配单一、离散的解。因此，有意义的反演应该由反演值和不确定性估计组成，不确定性估计描述了可能产生与观测值相似的测量值的一系列值。然而，即使反演方法允许对反演不确定性进行明确建模，它们的计算和表示通常也只能以近似的方式进行。贝叶斯框架提供了一种处理检索问题的不适定性及其相关不确定性的正式方法。
2024-08-04 23:35:38
707
原创 保形分位数回归（CQR）
保形预测是一种构造在有限样本中获得有效覆盖的预测区间的技术，无需进行分布假设。尽管有这种吸引力，但现有的保形方法可能是不必要的保守，因为它们在输入空间中形成恒定或弱变化长度的区间。本文提出了一种完全适应异方差的新方法。它将保形预测与经典分位数回归相结合，继承了两者的优点。我们建立了有效覆盖的理论保证，并辅以对流行回归数据集的广泛实验。我们比较了保形分位数回归与其他保形方法的效率，表明我们的方法倾向于产生更短的区间。论文：Conformalized Quantile Regression。
2024-08-04 23:26:24
352
原创 贝叶斯学习方法：几种方法介绍
这种组合保留了自回归模型的力量，例如外推到未来的良好性能，具有流作为通用高维分布模型的灵活性，同时保持计算上的可处理性。变分推理的大多数应用采用简单的后验近似族，以便进行有效的推理，重点放在平均场或其他简单的结构化近似上。我们的近似是通过规范化流程构建的分布，通过应用一系列可逆变换，将简单的初始密度转换为更复杂的密度，直到达到所需的复杂性水平。我们证明了具有更好地匹配真实后验的后验的理论优势，结合平摊变分方法的可扩展性，在变分推理的性能和适用性方面提供了明显的改进。关注微信公众号，获取更多资讯。
2024-08-04 21:38:48
473
原创 微分方程的数值解法——Runge-Kutta (RK4)
is the slope of the time beginning. （时间段开始时的斜率）is the slope of the time ending. 时间段终点的斜率，其。RK4 法是四阶方法，也就是说每步的误差是 h 阶，而总积累误差为 h 阶。和一个估算的斜率的乘积所决定。该斜率是以下斜率的加权平均：和一个估算的斜率。注意 上述公式对于标量或者向量函数（y可以是向量）都适用。时间段中点的斜率，通过欧拉法采用斜率。. (也是中点的斜率，但是这次采用斜率。对于给定的一个特定的方法，必须提供整数。
2024-08-04 18:03:17
734
原创 混合密度网络Mixture Density Networks(MDN)
平方和或交叉熵误差函数的最小化导致网络输出近似目标数据的条件平均值，以输入向量为条件。对于分类问题，只要选择合适的目标编码方案，这些平均值表示类隶属度的后验概率，因此可以认为是最优的。然而，对于涉及连续变量预测的问题，条件平均只能对目标变量的性质提供非常有限的描述。对于要学习的映射是多值的问题尤其如此，就像反问题的解中经常出现的那样，因为几个正确目标值的平均值本身不一定是正确的值。为了获得数据的完整描述，为了预测与新输入向量对应的输出，我们必须对目标数据的条件概率分布进行建模，同样以输入向量为条件。
2024-08-04 11:03:01
873
原创 基于概率神经网络的异方差不确定性估计
捕获任意不确定性是许多机器学习系统的关键部分。在深度学习中，达到这一目的的一种常用方法是训练神经网络，通过最大化观测数据下似然函数的对数来估计异方差高斯分布的参数。在这项工作中，我们研究了这种方法，并确定了与使用对数似然与基于梯度的优化器相关的潜在危险。首先，我们给出一个综合的例子，说明这种方法如何导致非常差但稳定的参数估计。其次，我们确定罪魁祸首是对数概率损失，以及某些加剧问题的条件。第三，我们提出了一种替代公式，称为β- NLL，其中每个数据点对损失的贡献由β-指数方差估计加权。
2024-08-04 11:01:32
852
原创 理论分析图学习（聚合）的表示能力
根据色数的定义，我们知道我们可以使用χ(G4)唯一的颜色标记V中的每个节点，这样在任何节点的2跳邻居中共同出现的两个节点都不会被分配相同的颜色。我们还注意到，这些证明在某种意义上是保守的，即聚类系数实际上可以在更少的迭代中识别，或者使用比我们施加的更少的限制。特别是，下面描述的函数，我们需要近似来计算聚类系数，在它们的域上都是Lipschitz连续的(假设我们只在正度的节点上运行)，所以近似引入的误差仍然由固定常数(可以任意小)限制。：在不损失一般性的情况下，我们描述了如何计算任意节点v的聚类系数。
2024-07-19 18:44:12
827
原创 保形预测简介无分布不确定度量化
黑箱机器学习模型现在经常用于高风险环境，如医疗诊断，这需要对不确定性进行量化，以避免相应的模型故障。共形预测(又称共形推理)是一种用户友好的范例，用于为此类模型的预测创建统计严格的不确定性集/区间。关键的是，这些集合在无分布的意义上是有效的:即使没有分布假设或模型假设，它们也具有显式的非渐近保证。可以将保形预测与任何预训练模型(如神经网络)一起使用，以生成保证包含用户指定概率(如90%)的基本事实的集合。它易于理解，易于使用和通用，自然适用于计算机视觉，自然语言处理，深度强化学习等领域出现的问题。
2024-07-18 23:37:44
722
原创 NGBoost:用于概率预测的自然梯度增强
自然梯度增强算法(Natural Gradient Boosting, NGBoost)是一种基于梯度增强的通用概率预测算法。典型的回归模型以协变量为条件返回点估计，但概率回归模型在结果空间上输出完整的概率分布，以协变量为条件。这允许预测不确定性估计——在医疗保健和天气预报等应用中至关重要。NGBoost通过将条件分布的参数作为多参数提升算法的目标，将梯度提升推广到概率回归。此外，我们展示了如何需要自然梯度来纠正我们的多参数增强方法的训练动态。
2024-07-18 23:26:51
625
原创 【CMU博士论文】结构化推理增强大语言模型（Part 1 为微调注入数据结构）
这项工作的重点是**为每个文档生成事件级时间图的问题**，我们将此任务称为**上下文化图生成**。为了解决这一公开挑战，我们提出了一种**新的任务重新表述**，将其**作为序列到序列映射问题**，这使我们能够利用大型预训练模型来完成我们的任务。此外，与现有方法不同，**我们提出的方法完全是端到端的**，并且消除了传统方法通常使用的子系统管道的需要。
2024-07-18 23:19:47
786
原创 【理论分析】线性预测器的等价性
其中a和b的维数是合适的。此外，我们证明了最小二乘线性回归的封闭形式解的性能与梯度下降训练的解相当或更好。我们证明了每个模型都可以被重新解释为在适当增强的特征集上的无约束线性回归，因此在使用均方损失函数时承认封闭形式的解决方案。我们提供的实验证据表明，在检查模型学习几乎相同的解决方案，并最终证明，更简单的封闭形式的解决方案是优越的预测在72%的测试设置。已经提出了许多线性模型的变体，通常包括某种形式的特征归一化，以提高模型的泛化。为了本文的目的，我们将“模型类”称为由模型体系结构引起的函数的参数集。
2024-06-09 10:09:03
851
原创 概率预测和分位数预测的区别是什么?
0.998和0.999分位数，那么我们基本上已经有了一个完整的概率预测。从本质上讲，预测的密度将是一个有998个箱子的直方图。)更常见的是，人们会用另一种方式来做:预测密度，然后从中得出分位数预测。一个潜在的问题是，非常接近分位数的分位数预测可能不一致:0.998分位数预测应该总是低于0.999分位数预测，但如果你不特别注意，在未来的一些时间点可能会出现相反的情况。当然，如果你的分位数很近，这个问题会更普遍。顺便提一下，只是为了帮助搜索引擎，相关术语是密度预测和预测密度或预测分布(后者是前者的输出)
2024-05-13 15:25:37
344
原创 分位数回归的基本原理和特点
在本报告的介绍中，我提到了相对于均值回归估计的情况下，分位数回归的稳健性。例如所述Buchinsky (1998), y的条件分位数的偏导数(见上面(9))对解释变量之一,说j的,是被解读为τ的边际变化th分位数由于边际变化j元素x,如果进一步的假设在这一节中,x 有K个不同的变量,那么这个导数只是j变量的系数,βj。分位数回归经典模型是由Koenker和Bassett (1978b)引入的，它从位置模型中的普通分位数(也称为“百分位数”)的概念扩展到更一般的一类线性模型，其中条件分位数具有线性形式。
2024-05-09 20:22:15
1378
原创 回归的无分布预测推理
本文附带了一个R包conalinference，它实现了我们所介绍的所有建议。本着可重复性的精神，我们所有的经验结果也可以很容易地(重新)生成使用这个包。
2024-05-09 11:52:27
751
原创 经验分布（Empirical Distribution）的定义
经验分布（Empirical Distribution）是指基于实际观测数据构建的分布，也称为样本分布或观察分布。在统计学中，当分析一个数据集时，可以通过观察数据点的频率或比例来估计数据的分布情况，而无需事先假设数据遵循某一特定类型的理论分布（如正态分布、泊松分布等）。简而言之，经验分布直接反映了数据的实际分布特性，是数据本身特征的一种非参数描述，常用于探索性数据分析、检验假设、或作为理论分布的近似，在没有足够理由假设数据符合特定理论分布时尤其有用。
2024-05-09 11:41:45
1404
原创 统计中的oracle和population什么意思？
在统计学的上下文中，“oracle” 这个词并不是一个标准术语，至少不像在数据库技术中那样具有特定且广泛认可的定义。不过，“oracle” 一词在一般意义上指的是提供智慧、知识或绝对正确答案的源头，源于古希腊宗教中能够传达神的旨意和预言的神谕。在统计或机器学习领域，“oracle” 有时会被借用作为一种理想化概念，用来描述理论上可以完美知道或预测某些信息的假设实体。
2024-05-09 10:03:44
380
原创 Dropout作为贝叶斯近似: 表示深度学习中的模型不确定性
深度学习工具在应用机器学习领域受到了极大的关注。然而，这些用于回归和分类的工具并没有捕捉到模型的不确定性。相比之下，贝叶斯模型提供了一个基于数学的框架来推理模型的不确定性，但通常会带来令人望而却步的计算成本。本文提出了一种新的理论框架，将深度神经网络中的dropout训练作为深度高斯过程中的近似贝叶斯推理。该理论的一个直接结果是为我们提供了用dropout神经网络来模拟不确定性的工具——从现有的模型中提取信息，这些信息到目前为止已经被抛弃了。
2024-05-07 11:31:54
1421
1
原创 深度集成估计：简单且可扩展的不确定性预测
深度神经网络(NNs)是强大的黑匣子预测器，最近在广泛的任务中取得了令人印象深刻的表现。量化神经网络中的预测不确定性是一个具有挑战性且尚未解决的问题。学习权重分布的贝叶斯神经网络是目前估计预测不确定性的最先进方法;然而，这些需要对训练过程进行重大修改，并且与标准(非贝叶斯)神经网络相比，计算成本很高。我们提出了一种替代贝叶斯神经网络的方法，它易于实现，易于并行化，只需要很少的超参数调优，并产生高质量的预测不确定性估计。
2024-05-07 10:41:47
1161
原创 深度神经网络中的不确定性研究综述
对于确定性神经网络，参数是确定的，每次向前传递的重复都会产生相同的结果。对于不确定性量化的单一确定性网络方法，我们总结了在确定性网络中基于单一正向传递计算预测y *的不确定性的所有方法。在文献中，可以找到几种这样的方法。它们大致可以分为两种方法，一种是对单个网络进行显式建模和训练，以量化不确定性[44]、[32]、[92]、[64]、[93];另一种是使用附加组件对网络的预测进行不确定性估计[46]、[36]、[71]、[72]。
2024-05-06 22:49:14
1899
原创 深度学习中的不确定性量化:技术、应用和挑战综述（一）
不确定性量化(UQ)在减少优化和决策过程中的不确定性方面起着关键作用，应用于解决各种现实世界的科学和工程应用。贝叶斯近似和集成学习技术是文献中使用最广泛的两种UQ方法。在这方面，研究人员提出了不同的UQ方法，并测试了它们在各种应用中的性能，如计算机视觉(如自动驾驶汽车和物体检测)、图像处理(如图像恢复)、医学图像分析(如医学图像分类和分割)、自然语言处理(如文本分类、社交媒体文本和惯犯风险评分)、生物信息学等。
2024-05-06 20:41:23
3476
原创 VMamba原理
论文还针对下游稠密任务进行了实验，例如：VMambaTiny/Small/Base (分别有 22/44/75 M 参数)在COCO数据集上，使用MaskRCNN检测器达到了 46.5%/48.2%/48.5%的 mAP，并且在ADE20K数据集上使用UperNet达到了 47.3%/49.5%/50.0%的mIoU。进一步，当输入图像大小越来越大时，尽管ViT取得了更佳的性能，ViT的FLOP数目的增长速度显著高于CNN。因此，这种策略可以使模型在拥有全局感知野的同时，具有线性的计算复杂度。
2024-04-28 17:51:39
253
原创 不同状态空间模型的实验对比（二）
对五个下游任务进行了实验比较，包括单/多标签分类、视觉对象跟踪、像素级分割、图像到文本生成和人/车辆再识别。对于单标签分类问题，我们在广泛使用的ImageNet-1K[2]数据集上计算现有作品的准确率。如图12 (d)所示，我们可以发现，。对于多标签分类，我们选择行人属性识别(Pedestrian Attribute Recognition, PAR)任务[6]，在PA100K[208]和PETA[209]数据集上进行实验。
2024-04-28 17:23:19
907
原创 新一代状态空间模型网络替代Transformer 综述
本文首先初步介绍了状态空间模型（SSM）的工作原理。然后，从多个方面回顾SSM的相关工作，包括SSM的起源和变化、自然语言处理、计算机视觉、图、多模态处理、多模态和多媒体、点云/事件流数据、时间序列数据等领域的相关工作。此外，作者在多个下游任务中进行了广泛的实验，以验证SSM的有效性。下游的任务包括单/多标签分类、视觉目标跟踪、像素级分割、图像到文本的生成和人/车辆的重识别。最后，提出了SSM的在理论和应用上的一些可能的研究方向，并对本文作出了总结。
2024-04-28 16:49:30
1782
原创 为什么扩散模型不直接生成高分辨率图像
大图生成”）的工作，都是先通过 Encoder 变换到 Latent 空间进行的（即 LDM，Latent Diffusion Model ），直接在原始 Pixel 空间训练的扩散模型，大多数分辨率都不超过 64x64，而恰好，LDM 通过 AutoEncoder 变换后的 Latent，大小通常也不超过 64x64。扩散模型是不是对于高分辨率生成存在固有困难？能否在 Pixel 空间直接生成高分辨率图像？
2024-04-28 11:21:24
182
原创 三篇多模态大模型进展综述
MLLM 的相关研究课题，包括多模态幻觉、多模态上下文学习（Multimodal In-Context Learning，M-ICL）、多模态思维链（Multimodal Chain of Thought，M-CoT）、LLM 辅助的视觉推理（LLM-Aided Visual Reasoning，LAVR）。相比于以往的多模态方法，例如以 CLIP 为代表的判别式，或以 OFA 为代表的生成式，新兴的 MLLM 展现出一些典型的特质：（1）模型大。（2）新的训练范式。
2024-04-28 11:05:24
1051
原创 通用视觉多模态大模型 一统理解/生成/分割/编辑
一方面，研究人员尝试深化MLLMs对视觉的理解，从粗略的实例级理解过渡到对图像的像素级细粒度理解，从而实现视觉区域定位（Regional Grounding）能力，如GLaMM、PixelLM、NExT-Chat和MiniGPT-v2等。部分研究已经开始研究让MLLMs不仅理解输入视觉信号，还能支持生成输出视觉内容。Vitron作为一个统一的像素级视觉多模态大语言模型，实现了从低层次到高层次的视觉任务的全面支持，能够处理复杂的视觉任务，并理解和生成图像和视频内容，提供了强大的视觉理解和任务执行能力。
2024-04-27 18:02:57
742
1
原创 Fast-DetectGPT 无需训练的快速文本检测
利用这种差异，可用一套模型和方法检测不同模型生成的文本内容。即在大规模语料库上预训练的 LLM 反映的是人类的集体写作行为，而非个体的写作行为，这导致它们在给定上下文时的词汇选择存在差异。然而，典型的零样本分类器，如 DetectGPT，需要执行大约一百次模型调用或与 OpenAI API 等服务交互来创建扰动文本，这导致了过高的计算成本和较长的计算时间。本文提出了一种新的文本检测方法 ——Fast-DetectGPT，无需训练，直接使用开源小语言模型检测各种大语言模型，如GPT等生成的文本内容。
2024-04-27 17:49:21
585
原创 VW-LMM 统一多模态自回归建模框架
一个视觉编码器（visual encoder），一个多模态解码器（multi-modal decoder），一个用于视觉-语言投影的适配器（adapter），一个用于多模态建模的多模态建模头（multi-modal modeling head，下称 MM head），以及与之对应的用于视觉建模的 VM head。VW-LMM 引入了视觉词（visual words）的概念，用于构建视觉特征在LMM内部语义空间中的分布，为视觉建模（visual modeling）提供了监督信息。
2024-04-27 17:25:35
364
原创 SVGDreamer: 文本引导矢量图形合成
SVGDreamer 由两部分构成：语义驱动的图像矢量化（Semantic-driven Image Vectorization，SIVE）和基于矢量例子的分数蒸馏（Vectorized Particle-based Score Distillation，VPSD）构成。现有的 Text-to-SVG 方法还存在两个限制：1.生成的矢量图缺少编辑性；2. 难以生成高质量和多样性的结果。为了解决这些限制，作者提出了一种新的文本引导矢量图形合成方法：SVGDreamer。
2024-04-27 17:20:14
199
原创 生成数据能否帮助模型训练？
到底是可以左脚踩右脚（bootsrap）地实现 weak-to-strong 的不断提升，还是像鸡生蛋、蛋生鸡一样，只不过是徒劳无功？北大王奕森团队针对「数据扩充」（Data Inflation）问题，如对比学习（如 SimCLR、DINO、CLIP）这一常见的自监督学习场景，从理论和实验两方面分析了生成数据对于表示学习能力的影响。为了控制变量，他们保证生成模型和表示学习都只能使用同一个（无监督）真实数据集进行训练，避免了扩充数据本身带来的收益。
2024-04-27 17:14:02
266
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人