deep-learning
qiusuoxiaozi
取法乎上
展开
-
理解Batch Normalization
一直以来对batch normalization的理解都是似懂非懂。在机器学习和深度学习炼丹师的修炼之路上,似懂非懂是一件很危险的事。今天,虽然还是没有能够把谷歌原始的论文好好研读一遍,但是看了一篇很不错的博客,不啰嗦了,也不重复造轮子,链接: https://r2rt.com/implementing-batch-normalization-in-tensorflow.html有一个一直的认识误原创 2017-09-15 22:18:24 · 2263 阅读 · 1 评论 -
深度学习炼丹师的养成之路之——How to subtract the mean value
今天这个文章题目的名字好啰嗦啊,其实主要是为了提醒自己要有“工匠精神”,在深度学习的修炼之路上学会有耐心,慢工出细活。如果到头来只会盲目地堆网络和试参数,这就背离了修炼的正轨了。好了,闲话不多说。今天主要写的是一个关于在transfer learning的时候,需要注意的问题。虽然是一个看似不起眼的细节,但是须知这些小小的细节有时候却能左右DL的learning过程,从而对最后的模型产生潜移默化的影原创 2017-11-02 21:45:15 · 2380 阅读 · 0 评论 -
SSD: Single Shot MultiBox Detector思想精要&技术细节
一、理解SSD:这大半个月来一直在捣弄SSD。一篇文章在handle一个task的时候,总是有其隐藏在其背后,独特的处理问题的思想,为了避免过目就忘,决定把SSD的思想提炼总结一下,原则就是简而精:往大了看,SSD其实就是由两个subtask构成的。这两个subtask绝大多数时候是相互独立的,各做各的事,自己优化自己,不存在交叉优化或者joint training,可以说是并不相关的。只有在最后t原创 2017-10-31 15:10:27 · 570 阅读 · 0 评论 -
深度学习炼丹师的养成之路之——Batch size/Epoch/Learning Rate的设置和学习策略
这个名字好长啊。。 但是,考虑到每一次训练都要耗费长达数日的GPU时间,每次启动训练前,细致而缜密的前期准备工作其实非常必要而且至关重要,这直接影响着数日之后的loss和最终的performance。首先推荐的一个文章是前几日看到的,知乎上谭旭的一个回答,谈到了最近facebook的training ImageNet in one hour,比较详细地阐释了batch size的大小对收敛性原创 2017-11-06 13:34:49 · 20602 阅读 · 1 评论 -
MADDPG翻译
论文全称:Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments 项目地址: https://blog.openai.com/learning-to-cooperate-compete-and-communicate/本文是对MADDPG的翻译,huanghe摘要一, 引言二, 相关工作三...原创 2018-01-19 10:49:28 · 29097 阅读 · 21 评论