调参
文章平均质量分 91
silent56_th
大学生一枚,对机器学习、图像处理感兴趣,偶尔也会刷刷leetcode或者hihocoder。希望在这里可以和大家多多交流,互相学习。
展开
-
神经网络训练技巧讨论:如何选取batch size
本文中关于Online/Batch learning的观点大多总结自lecun98年的论文:Efficient BackProp,关于Mini-Batch learning的观点大多总结自BatchNorm论文,详情请参考原论文。翻译总结中如有疏漏,欢迎指教。先放最后结论:笔者总结的batch size选取策略如下:考虑内存/显存/计算资源限制,得到被允许的最大值,选取的batc...原创 2018-07-12 20:31:13 · 5384 阅读 · 0 评论 -
神经网络训练技巧讨论:为什么需要标准化
本文关注:对于神经网络(主要是全连接网络+SGD)的学习训练,标准化有什么好处(加速收敛),以及为什么有这样的好处。本文观点大多总结自lecun98年的论文:Efficient BackProp,详情请参考原论文。翻译以及总结过程如有疏漏,欢迎指教。另需说明的是:神经网络模型多变复杂,这里多是对于一般情况的启发性讨论,实际使用中需要具体情况具体分析(例如图像领域大多仅减均值,不除方差)。什...原创 2018-07-12 21:11:20 · 13082 阅读 · 3 评论 -
tensorflow+multiprocessing实现并行调参
笔者需要得到100组不同的超参数 训练后的测试准确率,其中不同的超参数对应于不同的网络结构,故Graph和Session均不能共享。即笔者需要执行100次 构建Graph-新建Session-Train&Test-Close&Quit 的操作。 而程序本身占用资源不多,于是便想要实现并行,加速调参。需求:输入100组超参数,返回相应超参数对应的测试准确率每组超参数...原创 2018-08-04 23:19:13 · 8833 阅读 · 14 评论