1、问题:如何优化模型 : 加速收敛, 避免overfit, 提升精度 ..?
答案:可以从以下几个参数开始:- batch size effect;- learning rate effect;- weight initialization effect;- batch normalization
- drop-out;- model average;- fine-tuning;- data augmentation
2、问题:CNN最成功的应用是在CV,那为什么NLP和Speech的很多问题也可以用CNN解出来?为什么AlphaGo里也用了CNN?这几个不相关的问题的相似性在哪里?CNN通过什么手段抓住了这个共性?
答案:几个不相关的问题的相关性在于,都存在局部与整体的关系,由低层次的特征经过组合,组成高层次的特征,并且得到不同特征之间的空间相关性。
CNN通过:局部感知、权值共享、池化操作、多层次结构抓住了这个共性。局部感知使网络可以提取数据的局部特征;权值共享大大降低了网络的训练难度;池化操作和多层次结构一起,实现了数据的降维,将低层次的特征组合成高层次的特征。
3、问题:什么时候用local-conv?什么时候用全卷积(每一个点用同一个filter)?
答案:当数据集具有全局的局部特征分布时,也就是说局部特征之间有较强的相关性,适合用全卷积。在不同的区域有不同的特征分布时,适合用local-Conv。
4、问题:什么样的资料不适合用深度学习?
答案:1)数据集太小,因为神经网络有效的关键就是大量的数据,有大量的参数需要训练,少量的数据不能充分训练参数。2)数据集没有局部相关性。目前深度学习应用的领域主要是图像、语音、自然语言处理,这些领域的共性就是局部相关性。例如:图像中的像素组成物体,语音中的音位组成单词,文本数据中的单词组成句子,而深度学习的本质就是学习局部低层次的特征,然后组合低层次的特征成高层次的特征,得到不同特征之间的空间相关性。
5、问题:何为共线性, 跟过拟合有啥关联?
答案:
- 共线性:多变量线性回归中,变量之间由于存在高度相关关系而使回归估计不准确。
- 共线性会造成冗余,导致过拟合。
- 解决方法:排除变量的相关性/加入权重正则。
答案:因为如果不用非线性激励函数,每一层都是上一层的线性函数,无论神经网络多少层,输出都是输入的线性组合,与只有一个隐藏层效果一样。相当于多层感知机了。所以引入非线性激励函数,深层网络就变得有意义了,可以逼近任意函数。
https://www.zhihu.com/question/22334626
7、问题:什么造成梯度消失?推导?
答案:许多激活函数将输出值挤压在很小的区间内,在激活函数两端较大范围的定义域内梯度为0,导致权重更新的缓慢训练难度增加,造成学习停止。(前面层上的梯度是来自后面的层上项的乘积,当层数过多时,随着乘积的累积,将越来越小。)
激活函数的原因,如果采用sigmoid会造成梯度小时,可以采用ReLU
8、问题:CNN常见问题?
答案:a、梯度消失问题:过多的层数会导致梯度消失,解决手段:减少层数;增大学习率;用Relu代替sigmoid。
b、权重衰减:CNN的权重共享相当于自带某种正则项,所以代价函数里可不加正则
c、随机梯度下降的参数选择:
9、CNN优缺点:
优点:共享卷积核、减少了网络自由参数的个数,对高维数据处理无压力;无需手动选取特征,训练好权重,即得特征。降低神经网络的复杂性。这种网络结构在有监督的方式下学习到了一些良好的性能:对平移、比例缩放、倾斜或其他形式的变形具有高度不变性。
缺点:需要调参,需要大量样本;
10、神经网络优势:
可以利用神经网络中某一层的输出当做是数据的另一种表达,从而可以将其认为是经过神经网络学习到的特征,基于这一特征,可以进行进一步的相似度比较等操作。
有效的关键是大规模的数据,每个DL都有众多的参数,少量数据无法将参数训练充分。
发展缺陷:
随着网络层数的加深,优化函数越来越容易陷入局部最优解,并且这个“陷阱”越来越偏离真正的全局最优,利用有限数据训练的深层网络,性能还不如浅层网络。
随着网络层数增加,梯度消失现象越来越严重,(一般指sigmoid函数,反向传播时,每传递一层,梯度衰减为原来的1/4。层数一多,梯度指数衰减后,底层基本接收不到有效的训练信号。)
11、深度学习整体解释:
1)自下而上的非监督学习
2)自顶向下的监督学习
http://blog.csdn.net/qq_27923041/article/details/78407892