p1-p58
由于大部分内容在复习ML就不赘述了,只记录ML时的疑惑内容。自用笔记
1.参数初始化是怎么弄的?
随机。
2.为什么张量快?
并行计算。
3.超参数是什么?
注意,参数是指w和b。学习率、迭代次数、隐藏层数量、神经元个数、激活函数的选择,这些是超参数。超参数的选择感觉有点凭直觉,因为CPU、GPU、数据等会变,得反复试错。
#3.那机器学习提到的d呢?就是多项式的项数。
正则化
L1:
L2:
其中L2用的多些。
其他正则化方法
随机失活
对于每一个神经元,有50%的概率被丢弃。为了防止过拟合。
生成随机数,阈值(留存率)下的失活,阈值上的保留。留存率为1意味着这一层的神经元全部保留。
使不同的神经元失活进行多次计算,方法叫dropout。类似减少特征的感觉...
增加训练集
一:廉价的方式合成样本。
1.水平翻转
2.随机裁剪图片
3.图像增强、扭曲、变形。
提前终止
没太搞明白。。。就是不找那个最小的J,在一半就停下。
早终止法提前打断了J的梯度下降的过程,同时为了避免过拟合。可替代的就是L2正交法。
正交化?
训练过程的问题
归一化
1.均值归一化:把均值订到0,计算各数据对于原点的偏差。
2.方差归一化
3.特征缩放
梯度消失\爆炸
在每一层的权重参数矩阵w中,如果是比单位矩阵大一些的那种样子,到很深的网络后可能会梯度爆炸(矩阵连乘),是指数级增加的。同理梯度消失就是小于1的数连乘后会非常接近0。
深度网络权值的初始化。
当你的网络层数很深时,可能会导致计算的数字非常大,所以我们选择较小的w,通常选择1/n,或者当你的激活函数是ReLU时,使用2/n。
梯度的近似值
用左导数和右导数的均值来代替那一点的导数。吗?
小批量梯度下降
将训练集拆分为微型训练集(mini-batch)
有点急了,直接跳到cnn部分了。为了快速看懂论文