- 博客(4)
- 收藏
- 关注
RSS订阅原创 梯度爆炸，卷积层变量空间
可以引起的原因有很多，我一开始训练的时候，训练到一半损失正常下降，突然上升到一个极高的数字，大概是6亿左右再下降，后来我调整了学习率，并使用了一写残差块得到了不错的结合。在使用卷积层而且会多次使用时需要使用不同的变量空间防止互相影响，因为一些权重共享问题。我还是习惯使用函数，然后用类的方法self调用它，因为我习惯于只定义一个类。因为选择了变量空间的设置，在调用中就可以这样使用。（3）调小batch size，但是不要设置为1。（2）学习率从0.001调到0.0001。1.卷积层的变量空间设置。
2024-05-09 20:42:21
201
原创 cuda不同版本切换1.3
之前一直是在自己电脑下载好几个版本的cuda，同时还是添加环境变量特别麻烦，最近才知道在虚拟环境中也可以下载，特此更新一下。我的baseline比较老，我的版本信息是TensorFlow-gpu1.4-Python3.5-cuda8.0-cudnn6.0，不知道的伙伴可以去TensorFlow官网查询自己所需要的对应版本信息。4.因为TensorFlow版本很老，我选择离线安装，然后conda install会出现识别路径的问题，不是很稳定，因此建议用pip安装。5.等待安装完成，退出虚拟环境。
2024-05-09 20:00:07
258
原创 cuda不同版本切换1.2
3.查看TensorFlow官网文件，我的TensorFlow-gpu版本为2.4，cuda11.1，而cudnn版本显得有点过高,不知道是否需要调整。这代表了已经安装了 NVIDIA 的 CUDA 编译器驱动程序，版本为 11.1。现存的方法大差不差，查看安装目录里面的一个文件然后用文本模式查看就行。我的是cuda8.9.7。1.首先，查看自己当前的cuda版本和cudnn版本，打开cmd。2.检查我的cudnn版本。
2024-04-19 09:35:49
168
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人