![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
有毒的大妖怪
请:
节制、缄默、秩序、决心、节俭、勤奋、诚信、正义、中庸、清洁、平静、贞洁、谦卑
请不要:
浪费时间、关心琐事、与人争论
展开
-
pytorch1.1 半精度训练 Adam RMSprop 优化器 Nan 问题
文章转载于https://blog.csdn.net/one_six_mix/article/details/86367086因为遇到了同样的问题,所以记录一下在缩小模型,采用半精度模型,参数,输入数据时,发现adam算法有问题,而sgd没有问题。采用方法如下链接:这个老哥有相同问题https://www.cnblogs.com/yanxingang/p/10148712.html以下为转...转载 2020-03-06 21:52:57 · 3326 阅读 · 0 评论 -
DeepLearning.ai 深度学习课程 笔记 V5.61
黄博的针对吴恩达老师深度学习课程(deeplearning.ai) 视频做的笔记今日学习第二门课第二周,大有收获,再接再厉记录一下要点:batch gradient descent与mini gradient descent相比,在样本量不超过两千的情况下,可不分批,如分批,数据量可在64-512或者128(2的n次方,更快)左右。mini batch = 1 的时候,为随机梯度下降,到...原创 2020-01-05 00:01:24 · 308 阅读 · 0 评论 -
Tensorflow optimizer源码解读配合文章写优化器
以下链接给了重要参考!https://zhuanlan.zhihu.com/p/63500952记录一下过程中的难点首先这些优化词都是继承自父类optimizer.py(D:\anaconda3\envs\tsor_gpu1.9\Lib\site-packages\tensorflow\python\training\optimizer.py)自定义优化器中需要重写overrides一...原创 2020-01-04 23:38:43 · 735 阅读 · 0 评论 -
pytorch使用tensorflowboardx进行观察
@pytorch使用tensorflowboardx进行观察安装pytorch后跑神经网络代码两个机器,或者一个足以,使用anaconda安装了不同的环境,第一个是在CPU上跑的pytorch,conda虚拟环境就叫pytorch,我是复制了一个这样的环境然后进行的操作先试试水另一个是GPU版的,conda虚拟环境叫pytorch_gpu,(复制环境的命令,conda create -n...原创 2019-12-12 08:15:57 · 357 阅读 · 0 评论