![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
DeepHacking
deep learing hacking
展开
-
Pytorch使用DataLoader, num_workers!=0时的内存泄露
我在做一个超大数据集的多分类,设备Ubuntu 22.04+i9 13900K+Nvidia 4090+64GB RAM,第一次的训练的训练集有700万张,训练成功。找了很久的原因,发现内存随着训练step的增加而线性增加,猜测是内存泄露,最后定位到了DataLoader的num_workers参数(只要num_workers=0就没有问题)。Python中的list转换成tensor时,会发生内存泄漏,要避免list的使用,可以通过使用np.array来代替list。3.正确的重写Dataset方法()原创 2023-10-08 01:00:56 · 1422 阅读 · 0 评论 -
Ubuntu安装和卸载显卡驱动
【代码】Ubuntu安装和卸载显卡驱动。原创 2023-06-29 22:12:28 · 1855 阅读 · 0 评论 -
Ubuntu 18.04 从1080Ti升级到3090辛酸历程
1.卸载原有显卡驱动sudo apt-get purge nvidia*或者 sudo apt-get remove --purge nvidia*2.查看可用驱动:ubuntu-drivers devices(base) jack@JACK429:~$ ubuntu-drivers devices== /sys/devices/pci0000:00/0000:00:01.0/0000:01:00.0 ==modalias : pci:v000010DEd00002204sv00.原创 2021-03-06 07:00:29 · 800 阅读 · 1 评论 -
测试tensorflow-gpu的GPU代码,观察显卡占用情况判断
# import tensorflow as tf## sess = tf.compat.v1.Session(config=tf.compat.v1.ConfigProto(log_device_placement=True))# 如果为False, 检查tensorflow-gpu、cudatoolkit和cudnn版本是否对应一致# print(tf.test.is_gpu_available())from __future__ import print_function'''Ba.原创 2020-08-25 04:53:11 · 1265 阅读 · 0 评论 -
keras plot_model函数画网络结构图,问号??改成None
Ubuntu找这个目录文件anaconda3/envs/yourEnv/lib/python3.7/site-packages/tensorflow_core/python/keras/utils/vis_utils.pyWindows找这个目录文件Anaconda\envs\yourEnv\Lib\site-packages\tensorflow\python\keras\utils\vis_utils.py问题出在vis_utils.py文件中下面这个函数上面def format_原创 2020-08-21 07:02:25 · 1174 阅读 · 0 评论 -
深度学习模型运行的浮点次数FLOPs和训练参数程序获取方法
# 浮点运行次数# FLOPS:注意全大写,是floating point operations per second的缩写,意指每秒浮点运算次数,理解为计算速度。是一个衡量硬件性能的指标。# FLOPs:注意s小写,是floating point operations的缩写(s表复数),意指浮点运算数,理解为计算量。可以用来衡量算法/模型的复杂度。# In TF 2.x you have to use tf.compat.v1.RunMetadata instead of tf.RunMetada.原创 2020-08-08 05:23:55 · 3327 阅读 · 11 评论 -
学习笔记(一)什么是梯度?为什么要正则化?偏差(Bias)和方差(Variance)的关系?为了更小的误差(error),如何选择模型?
一、什么是梯度?答:▽ L就是梯度(如图),三角形符号倒过来(▽ )是梯度算子(在空间各方向上的全微分)二、为什么要正则化?原创 2020-03-18 03:13:43 · 2491 阅读 · 0 评论