深度学习⑨GANs

Discriminative and Generative Models

Deep learning中主要两种模型

·  判别模型专注于从输入预测输出,例如分类任务。学习数据点和标签之间的特征

·  生成模型则试图理解数据是如何产生的,能够生成新的数据样本。理解数据分布和是否可以被预测

Quiz time: Discriminative models

Given some input data X and the corresponding labels Y, discriminative models maximize:

A. P(X, Y)

B. P(Y|X)

C. P(Y)

D. P(X|Y)

判别模型的目标是学习给定输入X的情况下,输出Y的条件概率，即x存在情况下，y的概率。这允许模型直接从输入预测输出,这正是判别模型的核心功能。理解这一点对于区分判别模型和生成模型至关重要。

So判别模型通过估计条件概率P(Y|X)来学习类别之间的决策边界。它们可以用于分类任务。

关键点:判别模型专注于区分不同的类别,而不是生成新的数据。

判别模型的主要目标是学习如何区分不同类别的数据。它们直接学习从输入到输出的映射,而不需要理解数据的生成过程。这使得判别模型在分类任务中非常有效。

Discriminative models learn the decision boundary between classes by estimating the conditional probability P(Y|X). They can be used for classification tasks.

图中的决策边界展示了模型如何将输入空间划分为不同的类别区域。这种可视化有助于理解判别模型的工作原理。

卷积神经网络(CNNs)也是判别模型的例子。CNNs在图像分类等任务中表现出色,正是因为它们善于学习区分不同类别的特征。

生成模型通过估计P(X,Y)来学习数据的底层分布（什么样的输入特征(X)和什么样的输出结果(Y)经常一起出现?）,并且可以从这个分布中生成新的数据点。可以创建与训练数据相似的新数据样本。

核心目标是理解和模拟数据的生成过程。通过学习数据的联合分布P(X,Y)或边缘分布P(X),这些模型能够生成新的、看起来真实的数据样本。

这种能力使得生成模型在许多应用中非常有用,例如图像生成、数据增强、异常检测等。VAEs、GANs和扩散模型是当前最先进的生成模型,每种模型都有其独特的优势和应用场景。

GANs简介

什么是GANs?

• 由Ian Goodfellow在2014年引入(NIPS 2014)

这是机器学习历史上的一个重要时刻。GANs的提出引起了广泛的关注,因为它提供了一种新的、创新的方法来生成逼真的数据。自那时起,GANs已经在多个领域产生了重大影响,特别是在图像生成和编辑方面。

具体来说就是一类生成模型,其中两个神经网络(生成器和判别器)在博弈论框架下一起训练。

核心思想是通过两个相互竞争的神经网络来训练生成模型:

1. 生成器(Generator): 尝试创建看起来真实的假数据。
2. 判别器(Discriminator): 尝试区分真实数据和生成器创建的假数据。

这两个网络在训练过程中相互对抗,不断改进。这种方法借鉴了博弈论的思想,两个网络就像是在玩一个零和游戏。