![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
爱护阳光
合作共赢
展开
-
pytorch 指定GPU时,可能出现的问题
一般我们指定GPU训练时,用到的是:os.environ["CUDA_VISIBLE_DEVICES"] = "1,2"今天遇到一个有趣的问题,在我利用以上语句进行指定GPU的时候,上面语句失效,及无论我如何进行指定,都无法实现仅利用‘1,2’块GPU操作,总是利用到原来的0块GPU。**解决方法:于是我将os.environ["CUDA_VISIBLE_DEVICES"] = "1,2"代...原创 2019-12-10 11:23:03 · 1253 阅读 · 4 评论 -
pytorch中的梯度检查,gradcheck()函数
gradcheck():gradcheck(func, inputs, eps=1e-06, atol=1e-05, rtol=0.001, raise_exception=True, check_sparse_nnz=False)Check gradients computed via small finite differences against analyticalgradients...原创 2019-11-12 19:04:33 · 8047 阅读 · 0 评论 -
深度学习中的正则化
正则化概念:在《Deep Learning》书中定义正则化为“对学习算法的修改——旨在减少泛化误差而不是训练误差”,《统计学习方法》中认为正则化是选择模型的一种方法。我个人比较倾向于后一种解释。在上一篇博客也提到了,模型可以看成是一个高维函数,当模型参数确定了,这个函数也就确定了。对于不同的模型参数,能得到千千万万个不同的模型,我们将这所有的可能得到的模型称之为假设空间。理想情况下,我们希望真实...原创 2019-05-16 14:11:22 · 452 阅读 · 0 评论 -
调试神经网络过程中遇到的问题
在这里简单记录一下自己在调试过程中遇到bug:1、可能会遇到不知名的错误,大概就是139电脑内存不足的问题,但是我网络输入比较下,按理说此问题不存在的,后来换到服务器就好了2、另一个就是cuda的问题,需要用的变量都都应该转移到cuda上面,并且与网络是同步的,神经网络中定义的参数也应该单独的转移到GPU上面,因为net.to(device)好像并不会将网络中定义的变量转移到上面。3、最让头...原创 2019-06-29 09:01:02 · 351 阅读 · 0 评论