神经网络与深度学习
文章平均质量分 88
本专栏主要介绍深度学习的相关内容,第一部分主要介绍模式识别和机器学习的基本概念,参考书籍为《PRML》;第二部分主要介绍神经网络和深度学习的相关内容,参考书籍为邱锡鹏的《神经网络与深度学习》;第三部分主要介绍深度生成模型,主要分析扩散模型和分数匹配模型的关系。
小行星-
这个作者很懒,什么都没留下…
展开
-
(一)0. 十位院士对 AI 的深度把脉(转载)
2019 年 12 月 20 日,由鹏城实验室、新一代人工智能产业技术创新战略联盟主办的为期两天的「新一代人工智能院士高峰论坛」延续去年强大的院士阵容,邀请了多达 10 位院士以及诸多人工智能领域学术和企业界的顶级专家,从各自的领域深度剖析了人工智能领域的发展现状和未来值得探索的方向。原创 2023-01-09 13:30:51 · 1398 阅读 · 0 评论 -
(一)3. 回归的线性模型(2)
3.4 贝叶斯 模型比较过拟合问题的解决方法:1. 通过使⽤交叉验证的方法设置正则化参数的值;2. 从多个模型中选择合适的⼀个。本节内容:从贝叶斯的角度考虑模型选择的问题本节结论:与最⼤似然估计相关联的过拟合问题,可以通过对模型的参数求和或者积分(模型证据)来避免。(不是点估计)无过拟合问题的优点:模型可直接在训练数据上⽐较,⽽不需要验证集。这使得所有的数据都能够被⽤于训练,并且避免了...原创 2020-04-02 17:36:24 · 334 阅读 · 0 评论 -
(一)4. 分类的线性模型
前⼀章的回归模型有相当简单的数学性质和计算性质,现在讨论⼀类与此相似的模型⽤于解决分类问题。(一)分类线性模型分类的目标是将输⼊变量xxx分到KKK个离散的类别CkC_kCk中的某⼀类。最常见的情况是,类别互相不想交,因此每个输⼊被分到唯⼀的⼀个类别中。因此输⼊空间被划分为不同的决策区域(decision region),它的边界被称为决策边界(decision boundary)或者决...原创 2020-04-22 16:55:25 · 158 阅读 · 0 评论 -
(一)8. MCMC: 马尔可夫链蒙特卡罗模拟
MCMC的起源与发展,马尔可夫链蒙特卡罗模拟原创 2020-02-06 15:40:24 · 829 阅读 · 0 评论 -
(一)8. MCMC前沿:深入论题
MCMC前沿4.1 收敛与完美抽样收敛性的诊断确定马尔可夫链的长度是一项困难的任务。在实践中,人们经常丢弃一组初始样本(预烧),以避免起始点导致偏差。如果链稳定下来,人们可以应用几个图形和统计测试来大致评估。一般来说,这些测试都没有提供完全满意的诊断。几位理论家试图约束混合时间,即马尔可夫链K的分布接近目标p(x)所需的最小步数。我们用总变化范数Δx(t)Δ_x(t)Δx(t)...原创 2020-02-12 15:09:18 · 519 阅读 · 0 评论 -
(一)8. MCMC应用: 动力系统的贝叶斯推理
本文提出了一种利用贝叶斯推理进行动力系统参数估计的综合方法,包括利用不同分布的马尔可夫链蒙特卡罗(MCMC)获取参数的可信区间,以及解的预测区间。原创 2020-03-09 23:04:26 · 814 阅读 · 0 评论 -
(一)8. MCMC应用: 金融网络系统风险评估的贝叶斯方法
构造遵循贝叶斯方法的个体负债模型。以观察到的总负债和总资产以及潜在的某些观察到的个体负债为条件,构造Gibbs采样器从该条件分布中生成样本。原创 2020-02-16 15:10:29 · 554 阅读 · 0 评论 -
(一)9. 混合模型和EM算法
9.1 K均值聚类(一) K均值算法推导问题:假设有⼀个数据集{x1,...,xN}\{x_1,...,x_N\}{x1,...,xN},由D维欧几里得空间中的随机变量x的N次观测组成。目标是将数据集划分为K个类别,假定K值给定。聚类的思路:由⼀组数据点构成的⼀个聚类中,聚类内部点之间的距离应该小于数据点与聚类外部的点之间的距离。目标是找到各数据点属于的聚类类别,以及⼀组向量{µk}...原创 2020-02-26 22:04:17 · 260 阅读 · 0 评论 -
(三)0. 深度生成模型-基于分数匹配的生成模型
我们探索了一种新的基于对数数据密度的(Stein)得分的估计和采样的生成建模原理原创 2023-06-29 22:47:41 · 352 阅读 · 0 评论 -
(三)1. 深度生成模型-扩散模型(非均衡热力学的深度无监督学习)
非均衡热力学的深度无监督学习原创 2022-09-30 15:28:25 · 2221 阅读 · 0 评论 -
(三)2. 深度生成模型-扩散模型(去噪扩散概率模型)
扩散概率模型是一个参数化的马尔可夫链,使用变分推理训练,在有限时间后产生与数据匹配的样本。这条链的转换被学习为逆转扩散过程,扩散过程是一个马尔可夫链,它逐渐向相反采样方向的数据增加噪声,直到信号被破坏。原创 2022-10-06 16:44:24 · 1436 阅读 · 0 评论 -
(三)3. 深度生成模型-扩散模型(基于分数匹配的随机微分方程生成建模)
我们提出了一个随机微分方程(SDE),通过缓慢注入噪声,将复杂的数据分布平滑地转换为已知的先验分布,以及一个相应的反向时间SDE,通过缓慢去除噪声将先验分布转换回数据分布。反向时间SDE的生成取决于关于得分(即扰动数据分布的时间相关梯度场)的目标函数。通过利用基于得分(Score-Based)的生成建模方法,我们可以使用神经网络准确地估计这些分数,然后使用数值SDE解算器生成样本。该框架封装了和,产生新的采样过程和新的建模能力。在求解反向时间SDE中,原创 2023-06-21 14:08:05 · 520 阅读 · 0 评论 -
(三)4. 深度生成模型-扩散模型(连续时间“扩散模型”与“分数匹配”的关系)
这篇博文首先给出了反向时间随机微分方程表达式的理论证明,然后证明了最大化连续时间扩散的生成模型似然函数的下界等同于最小化分数匹配损失,弥合了连续时间情形下两个模型的理论差距。原创 2023-07-30 17:11:28 · 365 阅读 · 0 评论 -
(三)5. 深度生成模型-扩散模型(从去噪扩散模型到去噪Markov模型)
我们提出了一个统一的框架,将去噪扩散模型从实数空间推广到广泛的空间,并得到分数匹配的原始扩展。原创 2023-06-20 11:54:12 · 295 阅读 · 0 评论 -
(三)6. 深度生成模型-解析扩散概率模型
4. DDPM, DDIM, Analytic-DPM, Extended Analytic-DPM原创 2022-10-27 17:50:12 · 561 阅读 · 0 评论 -
(三)7. 深度生成模型-基于分数扩散模型的后验采样
本文的目标是开发一种实用、一致且稳健的算法,将基于得分的扩散模型作为图像先验,并结合通用(可能是非线性的)前向模型完成图像的重构。并且这种方法不需要从头开始训练或为每个新的成像任务进行端到端训练的即插即用方法。原创 2024-04-02 15:53:38 · 38 阅读 · 0 评论 -
SGD的重尾行为
SGD的重尾行为1. 简介1.1. 随机梯度下降算法1.2. SGD泛化性能的理论研究1.3. SGD重尾行为的产生原因2. 基本概念3. 主要的理论结果3.1. SGD收敛性和极限分布的尾部行为3.2. 主要分析方法3.2.1. 仿射随机递归3.2.2. 更新理论方法3.3. 主要结论3.3.1. 极限密度的尾指数3.3.2. 尾指数与问题参数的关系(一) 与第一次退出时间的关系(二) 步长的三种机制(三) 矩的界和收敛的速度(四) 遍历平均的广义中心极限定理(五) 进一步讨论1. 简介1.1. 随机原创 2024-03-15 15:08:32 · 560 阅读 · 0 评论