深度学习
暗焰之珩
这个作者很懒,什么都没留下…
展开
-
深度学习EMA的注意事项
目录EMA介绍概念弥补不足:初始数据积累不足的情况深度学习训练中的作用实现典型步骤一个EMA影子变量的例子进一步接近真实情景,让w1变动例2:global_step的trai...转载 2020-03-25 19:00:15 · 3820 阅读 · 1 评论 -
深度学习中EMA的使用场景
在复习《Tensorflow实战Google深度学习框架(第2版)》一书的第5章,第97页时,遇到了一个问题。EMA,大家都知道,指数滑动平均,好处在于1.平滑数据、2.可以存储近似n个时刻的平均值,而不用在内存中保留n个时刻的历史数据,减少了内存消耗。但是,EMA在深度学习中的使用场景是什么?参与了训练过程还是测试过程?哪些场景不需要使用ema?什么是EMA ...原创 2020-03-25 17:13:07 · 8375 阅读 · 2 评论 -
《TensorFlow实战Google深度学习框架》API整理(一)
最近在学习深度学习的相关知识,建议将学习吴恩达老师深度学习视频与学习《TensorFlow实战Google深度学习框架》一书结合起来交错进行。同时推荐一个学习吴恩达老师深度学习的GitHub地址,能够方便地对授课内容进行回顾总结,https://github.com/fengdu78/deeplearning_ai_books。这一系列笔记,主要是对《TensorFlow实战Google深度学习框...原创 2019-11-05 19:48:16 · 1225 阅读 · 0 评论