《深度学习:一起玩转Tensorlayer》学习补充笔记
主要笔记在CNKI E-Study中,此文档作为补充说明
名词解释
PCA (principle component analysis)
:主成分分析法距离与范式
- 曼哈顿距离(L1)
- 欧氏距离(L2)
- 马氏距离(L3)
MSE (mean squared error)
:均方误差KLD (KL Divergence)
:KL散度,相对熵,量化两种概率分布P和Q之间差异的方式。- :稀疏性
Binomial Distribution
:二项式分布Entropy
:熵,一般用H表示VAEs (Variational Autoencoders)
:变分自编码器Variational Bayesian Methods
:变分贝叶斯法cross-entropy
:交叉熵,编码方案不一定完美时(由于对概率分布的估计不一定正确),平均编码长度。是神经网络常用的损失函数。- 为什么在神经网络中使用交叉熵损失函数,而不是K-L散度?
K-L散度=交叉熵-熵,即 DKL( p||q )=H(p,q)−H§。在神经网络所涉及到的范围内,H§不变,则DKL( p||q )等价H(p,q)。
- 为什么在神经网络中使用交叉熵损失函数,而不是K-L散度?
CNN (Convolutional Neural Networks)
:卷积神经网络Stride
:步长Zero-padding
:外围补零R-CNN
:区域卷积神经网络SVM(Support Vector Machine)
:支持向量机ROI
:Region Of InterestRPN
:Region Proposal NetworksYOLO(You Only Look Once)
:CNN负责特征提取,全连接层负责分类识别FC
:全连接VGGNet
内存问题:VGGNet参数大约520MB,训练时,如果要保存反向传播梯度值,将占用1GB内存(一张图片),在GPU上采用mini batch训练的方法,需要注意显卡内存是否足够(呵,不够)。GoogLeNet
:(利用1×1卷积核进行降维)ResNet
数据增强
:通过对图像的变换,创造出更多的图像