不要给自己设限，尝试更多可能（思所向 皆可往）

DNN的输入是向量形式，并未考虑到平面的结构信息，在图像和NLP领域这一结构信息尤为重要，例如识别图像中的数字，同一数字与所在位置无关（换句话说任一位置的权重都应相同），CNN的输入可以是tensor。由于批量梯度下降法在更新每一个参数时，都需要所有的训练样本，所以训练过程会随着样本数量的加大而变得异常的缓慢。对学习率进行调节，尝试选择合适的激活函数，调整网络的拓扑结构，调节batch和epoch的大小，添加正则化方法，尝试使用其他的优化方法，使用Early Stopping。

而Batch Normalization的作用是通过规范化的手段，将越来越偏的分布拉回到标准化的分布，使得激活函数的输入值落在激活函数对输入比较敏感的区域，从而使梯度变大，加快学习收敛速度，避免梯度消失的问题。GAN用一个生成器和一个判别器，判别器用于判断给定的图片是不是真实的图片，生成器自己生成一张图片和想要的图片很像，开始时两个模型都没有训练，然后两个模型一起对抗训练（可以理解为内卷的过程），生成器生成图片去欺骗判别器，判别器去判别真假，最终两个模型在训练过程中，能力越来越强，最终达到稳态。

（2）神经网络模型可变的部分主要有神经网络的构成、架构（即选择构建多少层神经网络，每层包含多少个隐含结点，每个隐含结点的激活函数如何选择，层与层之间的连接如何等），一般情况下，在构建好神经网络后，神经网络的训练就变成了层与层之间权重的学习，为了更好的逼近目标值，设计了许多权重学习算法，包括梯度下降算法、共轭梯度法、拟牛顿法L-BMGS，信赖域方法等。即对于受限玻尔兹曼机，通过神经网络的形式，逐层训练受限玻尔兹曼机，或者贝叶斯网络，便可以构建深度玻尔兹曼机，深度贝叶斯网络，使该网络的表征能力进一步的提升。

而深度学习里的卷积网络可实现对局部区域信息的提取，获得更高级的特征，当神经网络层数越多时，提取的特征会更抽象，将更有助于分类，同时神经网络将提取特征和分类融合在一个结构中。一般来说，在合理的范围之内，越大的batch size使下降方向越准确，震荡越小；所谓的正则化，就是在原来Loss Function的基础上加了一些正则化项，或者叫做模型复杂度惩罚项，正则化是机器学习中一种常用的技术，其主要目的是控制模型复杂度，减少过拟合。22、神经网络的正则化方法，过拟合的解决方法。21、增大感受野的方法。

Concatenate操作是在Inception中首次使用，被DenseNet发扬光大，和Addition不同的是，它只要求两个feature map的HW相同，通道数可以不同，然后两个feature map在通道上直接拼接，得到一个更大的feature map，它保留了一些原始的特征，增加了特征的数量，使得有效的信息流继续向后传递。首先按照通道进行计算按位相乘的计算，深度可分离卷积中的卷积核都是单通道的，输出不能改变feature map的通道数，此时通道数不变；

感受野指的是卷积神经网络每一层输出的特征图上每个像素点映射回输入图像上的区域的大小，神经元感受野的范围越大表示其接触到的原始图像范围就越大，也就意味着它能学习更为全局，语义层次更高的特征信息。在卷积神经网络中，由于输入图像通过卷积神经网络（CNN）提取特征后，输出的尺寸往往会变小，而有时我们需要将图像恢复到原来的尺寸以便进行进一步的计算（如图像的语义分割），这个使图像由小分辨率映射到大分辨率的操作，叫做上采样，决定了网络的表达能力，早期的backbone设计都是直接堆叠卷积层，它的深度指的是。