- 博客(69)
- 收藏
- 关注
RSS订阅原创 深度学习平台
深度学习平台(只能有线连接校园网)账户密码env3 : pytorch1.9+cuda+jupyter+matplotlibpycuda: pycudaTimesformer–data_dir ./trainingVideo --category my_fire --output_dir ./output --image_size 100 --num_chain 10 --batch_size 14 --lr 0.001 --num_frames 30使用指南因为这个设备的环境无法在线或者本地安
2024-03-30 16:52:28
550
原创 论文阅读：Bayesian GAN
贝叶斯 GAN（Saatchi 和 Wilson，2017）是生成对抗网络（Goodfellow，2014）的贝叶斯公式，我们在其中学习生成器参数θg\theta_gθg和鉴别器参数θd\theta_dθd的分布，而不是优化 用于点估计。贝叶斯方法的优点包括在参数空间中灵活地建模多模态，以及在最大似然（非贝叶斯）情况下防止模式崩溃的能力。我们通过称为“随机梯度哈密顿蒙特卡罗（SGHMC）”的近似推理算法来学习贝叶斯 GAN，这是一种基于梯度的 MCMC 方法，其样本近似于θg。
2024-01-14 16:34:12
1055
3
原创 论文阅读：通过时空生成卷积网络合成动态模式(重点论文)
视频序列包含丰富的动态模式，例如在时域中表现出平稳性的动态纹理模式，以及在空间或时域中表现出非平稳的动作模式。我们证明了时空生成卷积网络可用于建模和合成动态模式。该模型定义了视频序列上的概率分布，对数概率由时空ConvNet定义，该网络由多层时空滤波器组成，用于捕获不同尺度的时空模式。该模型可以通过迭代以下两个步骤的“综合分析”学习算法从训练视频序列中学习。步骤 1 从当前学习的模型合成视频序列。步骤 2 然后根据合成视频序列和观察到的训练序列之间的差异更新模型参数。
2024-01-03 17:13:39
1095
原创 论文阅读：Metropolis-Hastings 生成对抗网络 Metropolis-Hastings Generative Adversarial Networks
本文提出了新的生成器优化方式，将鉴别器中的知识合并到改进的生成器中。我们介绍了 Metropolis-Hastings 生成对抗网络（MH-GAN），它结合了马尔可夫链蒙特卡罗和 GAN 的各个方面。MH-GAN 从 GAN 的判别器生成器对隐式定义的分布中抽取样本，而标准 GAN 从仅由生成器定义的分布中抽取样本。它使用 GAN 训练中的判别器围绕生成器构建包装器以改进采样。有了完美的鉴别器，即使生成器不完美，这种包装的生成器也可以准确地从数据的真实分布中进行采样。
2024-01-01 16:16:14
855
1
原创 论文阅读：神经 MCMC 的深度内卷生成模型 Deep Involutive Generative Models for Neural MCMC
文章总结：本文提出了使用一种生成式的模型作为MCMC算法中的建议方式，并通过GAN进行优化。
2024-01-01 15:47:41
1195
原创 A Prefetching Multi-Proposal Parallel MCMC Algorithm
A Prefetching Multi-Proposal Parallel MCMC Algorithm
2023-05-01 10:53:29
111
1
原创 直升机空气动力学基础--005翼型的升阻比和气动力矩
焦点与翼型有关，总升力矩可以视为附加升力与零升力迎角升力的合成，对于对称翼型，零升力力矩为0，附加升力就是总升力，其焦点就是其压力中心。对于对称翼型，零升力力矩为0，对于非对称翼型，零升力力矩存在，与不对称度成正比。对于不对称翼型，升力对焦点的力矩保持不变。
2023-04-26 09:52:59
879
原创 直升机空气动力学基础---002 桨叶的主要参数
由于其设计制造比较简单，早期直升机大多采用矩形桨叶，缺点是在高速气流中，无法抑制。，会消耗向下的诱导速度，降低旋翼的拉力。现代多采用梯形桨叶。图片上方称之为前缘，下方称为后缘。桨尖后掠能够降低桨尖涡。
2023-04-25 22:08:58
1551
原创 数据结构与算法1
本章主要是认识复杂度与简单排序算法。1.2.常数操作：与数据量无关的操作3.4.额外空间复杂度，参考时间复杂度提取出多位中最右侧的1： a&(~a+1)
2023-03-03 09:53:20
260
原创 Pytorch+cpp_cuda extension 课程二
既然要用到 cuda 那么，就要 .cu(cuda) 文件,这里并没有并行。而是做一个调用的demo。每个点的内插都是独立的，每个点对于每个特征点来说，也是独立的，因此可在这两个方向上并行。N表示有N个正方体，8表示8个特征点，F表示每个特征点的表示方式，F应该等于3吧。和之前的c++程序相比，有以下变化。N表示有N个正方体，3表示坐标。
2022-11-14 18:27:49
502
原创 贝叶斯神经网络的 MCMC 训练 MCMC Training of Bayesian Neural Networks
MCMC deep learning
2022-10-06 13:46:44
1275
1
原创 论文：并行化 Metropolis-Hastings 算法的一般结构
马尔可夫链蒙特卡罗方法 (MCMC) 是解决许多现代统计和计算问题的重要工具；然而，一个主要的限制是这些算法固有的顺序性质。在本文中，我们提出了 Metropolis-Hastings 算法的自然推广，该算法允许使用现有的 MCMC 方法并行化单个链。我们通过并行提出多个点来做到这一点，然后在提出的点上构建和采样有限状态马尔可夫链，使得整个过程具有正确的目标密度作为其平稳分布。我们的方法通常适用且易于实施。我们演示了如何使用这种结构来大大提高各种现有 MCMC 方法的计算速度和统计效率，包括 Metropo
2022-07-22 09:35:40
673
原创 使用并行计算改进基于独立 Metropolis-Hastings 的估计
在本文中，我们考虑了如果提议的值独立于马尔可夫链的当前值，则可以通过通用 Metropolis-Hastings 算法利用并行原始功率这一事实的含义。特别是，我们提出了对独立 Metropolis-Hastings 算法的改进，该算法显着降低了从 MCMC 输出派生的任何估计量的方差，计算成本为零，因为这些改进是基于可以并行产生的固定数量的目标密度评估。本文开发的技术不会危及算法的马尔可夫收敛特性，因为它们基于 Gelfand 和 Smith (1990) 的 Rao-Blackwell 原理，已在 Cas
2022-07-17 14:38:26
755
原创 阅读书籍：Monte Carlo Methods（第一章 Introduction to Monte CarloMethods）
蒙特卡洛以摩纳哥的一家赌场命名，它使用简单的随机事件来模拟复杂的概率事件，例如掷一对骰子来模拟赌场的整体商业模式。 在蒙特卡洛计算中，一个伪随机数生成器被重复调用，它在 [0, 1] 中返回一个实数，结果用于生成样本分布，该分布是所研究的目标概率分布的公平表示。 本章介绍蒙特卡洛的主要概念，包括两大类：五个目标：给出了每个任务的示例，并研究了包括近似计数、射线追踪和粒子滤波在内的应用。一般来说，Monte Carlo 方法分为两类：在工程应用中，例如 计算机视觉、图形和机器学习，目标函数是在图形表示上定义的
2022-07-05 17:29:19
622
原创 论文笔记 Stochastic Gradient Hamiltonian Monte Carlo （SGHMC）
Hamiltonian Monte Carlo (HMC) 采样方法提供了一种机制，用于在 Metropolis-Hastings 框架中定义具有高接受概率的远距离建议，从而能够比标准随机游走提案更有效地探索状态空间。近年来，此类方法的普及显着增长。然而，HMC 方法的一个限制是模拟哈密顿动力系统所需的梯度计算——这种计算在涉及大样本量或流数据的问题中是不可行的。相反，我们必须依赖从数据子集计算的噪声梯度估计。在本文中，我们探讨了这种随机梯度 HMC 方法的特性。令人惊讶的是，随机近似的自然实现可能非常糟糕
2022-06-29 16:59:24
1486
1
原创 MCMChybrid GP_5.4 R语言
注：在运行之前，需要安装MCMChybridGP库,但是我在windows操作系统上装不了，在ubuntu上能装。链接：https://pan.baidu.com/s/1wDBphwj_IOOb8GwWLHY-8A提取码：00ri接下来，对相关代码进行解释2.产生多个样本x在上下限ub，lb的范围内产生若干样本其中，generateX0函数如下所示3. 定义密度函数（单项似然函数）P(x)=P(x1,x2)=14πσexp(−12σ(x1−μ11)2+(x1−μ12)2)+14πσexp(
2022-06-26 17:54:19
225
原创 Gaussian Processes to Speed up Hybrid Monte Carlo for Expensive Bayesian Integrals高斯过程加速HMC——代码解析
1.2 专属库（点击查看具体内容）指数平方核函数高斯过程似然优化器记录GPHMC采样器2.函数定义2.1 势能函数π(θ∣x)∝exp(U(θ∣x))\pi(\theta|x)∝\exp(U(\theta|x))π(θ∣x)∝exp(U(θ∣x))势能: U(θ∣x)=−logπ(θ∣x)U(\theta|x)=-\log \pi(\theta|x)U(θ∣x)=−logπ(θ∣x)势能->energy->U(θ∣x)U(\theta|x)U(θ∣x)目标分布： π(θ∣x
2022-06-25 21:41:27
270
原创 HMC_Hamiltonian Monte Carlo 推导，代码
Hamiltonian Monte Carlo (HMC) 算法，这是一种基于哈密顿力学（Hamiltonian mechanics）的抽样算法，它的效率比一般的MH算法要更高。通俗说就是更快达到逼近真实分布的采样。
2022-06-23 20:36:37
1009
原创 MCMC加速——Gaussian Processes to Speed up Hybrid Monte Carlo for Expensive Bayesian Integrals高斯过程加速HMC
混合蒙特卡洛 (HMC) 通常是计算难以解析的贝叶斯积分的首选方法。然而，这种方法的成功可能需要对（未归一化的）后验及其偏导数进行大量评估。在后验计算成本高昂的情况下，这可能导致 HMC 的计算负载不可接受。我建议对 HMC 所需的大多数计算使用后验（对数）的高斯过程模型。在这个方案中，即使 GP 模型有些不准确，也只需要偶尔评估实际的后验，以确保生成的样本具有完全期望的分布。该方法在 10 维问题上进行了演示，其中 200 次评估足以从后验生成 100 个大致独立的点。因此，所提出的方案允许对具有后验计算
2022-06-21 17:37:42
562
原创 低精度加速高斯过程
低精度算术对神经网络的训练产生了变革性的影响，减少了计算、内存和能量需求。 然而，尽管它有希望，但低精度算术在高斯过程 (GP) 训练中几乎没有受到关注，这主要是因为 GP 需要复杂的线性代数例程，这些例程在低精度下不稳定。 我们研究了以半精度训练 GP 时可能发生的不同故障模式。 为了规避这些故障模式，我们提出了一种多方面的方法，包括具有重新正交化、紧凑内核和预处理器的共轭梯度。 我们的方法在各种设置下显着提高了低精度共轭梯度的数值稳定性和实际性能，并将单个 GPU 上 180 万个数据点的运行时间减少到
2022-06-21 10:29:43
382
原创 计算昂贵的后验分布的高效 MCMC 方案
我们考虑马尔可夫链蒙特卡洛 (MCMC) 计算方案，旨在最小化贝叶斯推理中后验分布的评估次数，当后验计算成本高昂时。我们的动机是计算昂贵的计算机模型的贝叶斯校准。先前在文献中提出的基于混合蒙特卡罗和目标分布的高斯过程近似的算法以三种方式扩展。首先，我们考虑将原始方法与回火方案相结合，以处理多峰后验分布。其次，我们考虑用高斯过程近似替换原始目标后验分布，这所需要的评估成本更低。第三，我们在回火方案的背景下考虑用高温链中的近似值替换真实目标分布，同时在最低温度链中保留真实目标。这在最低温度链中保留了正确的目标分
2022-06-17 22:39:49
730
原创 论文笔记Doubly Stochastic Variational Inference for Deep Gaussian Processes深度高斯过程的双重随机变分推理
高斯过程 (GP) 是函数逼近的一个不错的选择，因为它们灵活、对过度拟合具有鲁棒性，并提供经过良好校准的预测不确定性。 深度高斯过程 (DGP) 是 GP 的多层泛化，但事实证明这些模型中的推理具有挑战性。 DGP 模型中现有的推理方法假设近似后验，迫使各层之间独立，并且在实践中效果不佳。 我们提出了一种双随机变分推理算法，该算法不强制层之间的独立性。 通过我们的推理方法，我们证明了 DGP 模型可以有效地用于大小从数百到十亿点的数据。 我们提供了强有力的经验证据，证明我们的 DGP 推理方案在分类和回归的
2022-06-10 22:49:19
731
原创 深度高斯过程综述
高斯过程是贝叶斯学习的主要方法之一。 尽管该方法已经成功地应用于许多问题，但它有一些基本的局限性。 文献中的多种方法已经解决了这些限制。 但是，到目前为止，还没有对这些主题进行全面的调查。 大多数现有调查只关注高斯过程的一种特定变体及其衍生物。 本调查详细介绍了使用高斯过程的核心动机、其数学公式、局限性和多年来为解决上述局限性而出现的研究主题。 此外，一个特定的研究领域是深度高斯过程 (DGP)，它在过去十年中得到了显着改进。 他们的调查概述了推动这一研究领域前沿的重要出版物。 最后，对未解决的问题和未来工
2022-06-08 16:57:36
2850
1
原创 论文笔记Deep Gaussian Processes深度高斯过程
在本文中，我们介绍了深度高斯过程 (GP) 模型。 深度 GP 是基于高斯过程映射的深度信念网络。 数据被建模为多元 GP 的输出。 然后，该高斯过程的输入由另一个 GP 管理。 单层模型等效于标准 GP 或 GP 潜变量模型 (GP-LVM)。 我们通过近似变分边缘化在模型中进行推理。 这导致我们用于模型选择的模型的边际似然有一个严格的下限（层数和每层节点数）。 深度信念网络通常用于使用随机梯度下降进行优化的相对较大的数据集。 即使数据稀缺，我们的完全贝叶斯处理也允许应用深度模型。 通过我们的变分界选择模
2022-06-07 16:02:24
2145
1
原创 论文笔记 Inference in Deep Gaussian Processes using Stochastic Gradient Hamiltonia使用随机梯度哈密顿量蒙特卡罗推理深度高斯过程
深度高斯过程 (DGP) 是高斯过程的层次概括，它将经过良好校准的不确定性估计与多层模型的高度灵活性相结合。 这些模型的最大挑战之一是精确推断是难以处理的。 当前最先进的推理方法变分推理 (VI) 对后验分布采用高斯近似。 这可能是一般多峰后验的潜在较差的单峰近似。 在这项工作中，我们为后验的非高斯性质提供了证据，并且我们应用随机梯度哈密顿蒙特卡罗方法来生成样本。 为了有效地优化超参数，我们引入了移动窗口 MCEM 算法。 与 VI 对应物相比，这会以更低的计算成本产生明显更好的预测。 因此，我们的方法为
2022-06-06 10:22:31
638
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人