![](https://img-blog.csdnimg.cn/4c82c338b30d48af853111b733d1d1c6.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
生成模型
文章平均质量分 92
生成模型的基本概念、经典生成模型和最新模型
Cy12024
这个作者很懒,什么都没留下…
展开
-
生成模型基础概念-JS散度和Wasserstein散度
Wasserstein距离相比 KL 散度和 JS 散度的优势在于:即使两个分布没有重叠或者重叠非常少,Wasserstein距离仍然能反映两个分布的远近。如果将两个分布看作是两个土堆,联合分布 𝛾(𝑥, 𝑦) 看作是从土堆 𝑞1 的位置𝑥到土堆𝑞2 的位置𝑦的搬运土的数量,并有。其中Γ(𝑞1, 𝑞2)是边际分布为𝑞1 和𝑞2 的所有可能的联合分布集合,𝑑(𝑥, 𝑦)为𝑥和𝑦的距离,比如ℓ𝑝 距离等。可以理解为在联合分布𝛾(𝑥, 𝑦)下把形状为𝑞1 的土堆搬运到形状为𝑞2 的土堆所需的工作量,原创 2023-08-23 20:48:45 · 613 阅读 · 0 评论 -
详解VAE(变分自编码器)
变分自编码器(Variational auto-encoder,VAE) 是以自编码器结构为基础的深度生成模型。自编码器在降维和特征提取等领域应用广泛, 基本结构是通过编码 (Encoder) 过程将样本映射到低维空间的隐变量, 然后通过解码 (Decoder) 过程将隐变量还原为重构样本。原创 2023-08-22 18:46:14 · 12628 阅读 · 4 评论 -
pytorch安装VAE项目详解
其他的都按照requirements.txt文件来安装。这个项目无法自动下载数据集,需要手动安装。切记torch 不要重新安装!有相关介绍,包括数据下载百度云地址。2.配置conda 虚拟环境。配置环境使用的安装包及版本。提示:如果不修改代码会报错。下载后修改文件的目录。原创 2023-08-16 23:38:14 · 709 阅读 · 0 评论 -
生成模型相关算法:EM算法步骤和公式推导
EM 算法是一种选代算法,1977 年 Dempster 等人总结提出,用于含有隐变量(hidden variable)的概率模型参数的极大似然估计,或极大后验概率估计EM算法的每次选代由两步组成:E步,求期望 (expectation);一般地,用Y表示观测随机变量的数据,Z表示隐随机变量的数据Y和Z连在一起称为完全数据 (complete-data),观测数据Y又称为不完全数据(incomplete-data)。的极大似然估计每次代包含两步:E 步,求期望:M步,求极大化,下面来介绍 EM 算法。原创 2023-08-02 00:23:32 · 1269 阅读 · 1 评论 -
生成模型基本概念:信息熵、交叉熵和相对熵(KL散度)
KL 散度(Kullback-Leibler Divergence),也叫KL 距离或相对熵(Relative Entropy),是用概率分布𝑞来近似𝑝时所造成的信息损失量. KL散度是按照概率分布𝑞的最优编码对真实分布为𝑝的信息进行编码,其平均编码长度(即交叉熵)𝐻(𝑝, 𝑞)和𝑝的最优平均编码长度(即熵)𝐻(𝑝)之间的差异. 对于离散概率分布𝑝和𝑞,从𝑞到𝑝的KL散度定义为。时p(x)=1,则熵为0.也就是说,对于一个确定的信息,其熵为0.如果其概率分布为一个均匀分布,则熵最大.原创 2023-07-28 23:54:57 · 449 阅读 · 0 评论