训练
彩虹宇
这个作者很懒,什么都没留下…
展开
-
为啥训练速度慢(一)
最近训练时,数据集比较大,读取数据需要花费好长好长的时间,一直找不到原因,现在终于找了的!!!是因为我在做测试的时候,怕图片文件路存在,加了个文件路径存在判断,但是后来忘了删除掉,,这个真的超级费时间!背景:数据只读前5000条,即只有50张图片;同一批数据,读10次,计算每次读取时间;1)这个是加了路径判断之后,记录每一次的读取时间:for i in range(24): # 同一批数据读24次 time_t.tic() with open(self.list_dir) a原创 2021-03-31 16:09:03 · 1346 阅读 · 0 评论 -
反向传播时出现NaN
症状:前向计算一切正常、梯度反向传播的时候就出现异常,梯度从某一层开始出现Nan值(Nan: Not a number缩写,在numpy中,np.nan != np.nan,是唯一个不等于自身的数)。フォワードの計算に異常なしでも、その模型の変量をアプデートする時に異常な数字が出る。Pythonのプログラムにあるなら、Nanというもの現れることです。根因:原因目前遇到的分为两种,其一——你使用了power(x, a) (a < 1)这样的算子,因为power函数这样的算子,在梯度反向传播阶段时,求转载 2020-09-26 16:34:10 · 1741 阅读 · 0 评论