关于深度学习几个问题（二）

1.解释过拟合和欠拟合，分别解决方案。

上面图中分别体现：左侧为欠拟合中间为平衡态右侧为过拟合
欠拟合：模型在训练数据上的性能很糟糕。
过拟合：模型在训练数据上表现良好但在评估数据上表现不好。

欠拟合产生可能是由于模型太简单 (输入特征表述性不够) 而无法很好地描述目标，可以通过提升模型灵活性来改进性能。具体操作：

1）添加新的域特有特征和更多特征笛卡尔积，并更改特征处理所用的类型
2） 减少使用的正则化数量

过拟合需要采取措施来降低模型的灵活性，具体操作：
1） 特征选择：考虑使用更少的特征组合，减少 n 元大小，以及减少数字属性分箱的数量，如Dropout方法。
2）增加使用的正则化数量

2.1×1卷积核的作用。
卷积核在CNN中常见的是3×3和5×5的。VGGNet出现后证实了两个3×3的卷积核可以一个5×5的卷积核，3个3×3的卷积核可以替代一个7×7的卷积核，却可以减少计算参数，降低时间复杂度。
而1×1的卷积核最初是在Network in Network（NIN）这个网络结构中提出来的。1×1的卷积核没有考虑在前一层局部信息之间的关系。1×1卷积核可以起到一个跨通道聚合的作用，所以进一步可以起到降维（或者升维）的作用，起到减少参数的目的。

3.GAN简单介绍。
GAN的基本原理其实非常简单，这里以生成图片为例进行说明。假设我们有两个网络，G（Generator）和D（Discriminator）。正如它的名字所暗示的那样，它们的功能分别是：
1）G是一个生成图片的网络，它接收一个随机的噪声z，通过这个噪声生成图片，记做G(z)。
2）D是一个判别网络，判别一张图片是不是“真实的”。它的输入参数是x，x代表一张图片，输出D（x）代表x为真实图片的概率，如果为1，就代表100%是真实的图片，而输出为0，就代表不可能是真实的图片。

在训练过程中，生成网络G的目标就是尽量生成真实的图片去欺骗判别网络D。而D的目标就是尽量把G生成的图片和真实的图片分别开来。这样，G和D构成了一个动态的“博弈过程”。最终的平衡点即纳什均衡点。目标函数：

1）整个式子由两项构成。x表示真实图片，z表示输入G网络的噪声，而G(z)表示G网络生成的图片。
2）D(x)表示D网络判断真实图片是否真实的概率（因为x就是真实的，所以对于D来说，这个值越接近1越好）。而D(G(z))是D网络判断G生成的图片的是否真实的概率。
3）G的目的：上面提到过，D(G(z))是D网络判断G生成的图片是否真实的概率，G应该希望自己生成的图片“越接近真实越好”。也就是说，G希望D(G(z))尽可能得大，这时V(D, G)会变小。因此我们看到式子的最前面的记号是min_G。
4）D的目的：D的能力越强，D(x)应该越大，D(G(x))应该越小。这时V(D,G)会变大。因此式子对于D来说是求最大(max_D)