2019年02月_蟹恼板

12月 07月 04月 03月 02月 01月

原创 [笔记]Coursera Deep Learning笔记超参数调试 Batch归一化 Softmax

调试(Tuning) 深度学习要处理很多参数, 从学习速率 α\alphaα 到 Momentum 的参数 β\betaβ, 若使用 Adam 优化算法,还得处理 β1\beta_1β1, β2\beta_2β2 和 ε\varepsilonε. 同时还得选择层数, 每一层隐藏单元的数量, mini-batch 大小, 甚至如果还要使用学习率衰减. 其中学习速率 α\alphaα 是最优先调试...

2019-02-23 18:41:54 444

原创 [笔记]Coursera Deep Learning笔记优化算法

Mini-batch 梯度下降将 X=[x(1),x(2),x(3),...,x(m)]X = [x^{(1)}, x^{(2)}, x^{(3)}, ..., x^{(m)}]X=[x(1),x(2),x(3),...,x(m)] 矩阵所有 mmm 个样本划分为 ttt 个子训练集, 每个子训练集称为 x{i}x^{\{i\}}x{i}, 每个子训练集内样本个数均相同(若每个子训练集有1000...

2019-02-21 22:41:32 236

原创 [笔记]Coursera Deep Learning笔记正则化与梯度相关

训练集、验证集、测试集(Train, Dev, Test Sets) 当数据量小的时候, 70% 训练, 30% 测试；或 60% 训练、20% 验证、20%测试. 当我们有大于100万条数据时, 测试集验证集各取1万条即可, 足以评估单个分类器. 确保验证集和测试集的数据来自同一分布. 如果不需要无偏估计, 可以不设置测试集. 当没设立测试集的时候, 验证集通常被人们称为测试集. 偏差、方差(...

2019-02-19 22:43:06 227