- 博客(61)
- 收藏
- 关注
RSS订阅原创 pytorch遇见RuntimeError: CUDA out of memory的解决
RuntimeError: CUDA out of memory1.查看是否其他程序占用显存遇到此类错误后，对于py格式的文件来说，程序会进行终止，也就是当前程序占用的显存将会被释放。此时可用 watch -n 1 nvidia-smi 命令查看当前显存的使用情况。如果此时显存依然有比较大的占用，说明存在其他程序占用显存，使用kill命令结束不必要的程序即可。2.查看pytorch和cuda是否匹配使用方法torch.cuda.is_available()，确认pytorch和cuda是否匹配，如
2021-07-26 18:32:22
8175
1
原创 2021-07-26 TypeError: can‘t convert cuda:0 device type tensor to numpy. Use Tensor.cpu() to copy the
can’t convert CUDA tensor to numpy. Use Tensor.cpu() to copy the tensor to host memory first.意思是:如果想把CUDA tensor格式的数据改成numpy时，需要先将其转换成cpu float-tensor随后再转到numpy格式。 numpy不能读取CUDA tensor 需要将它转化为 CPU tensorCUDA tensor格式的数据改成numpy时，需要先将其转换成cpu float-te
2021-07-26 18:20:04
8360
原创 2021-07-23 图像分割
1. 图像语义分割分割任务就是在原始图像中逐个像素的找到你需要的目标物体。给每个像素打上标签（这个像素点是人、树、背景等）语义分割只区别类别，不区分类别中具体单位。2. 实例分割不光区分类别，还要区别类别中的每个个体。比如把每人和背景分割，人出来之后，单个人的个体还需要进一步区分。3. 损失函数：1.逐个像素的交叉熵2.考虑样本均衡的问题3.交叉熵的公式：加入了权重pos_weight，谁越少就越重要。4. Focal loss样本也由难易之分，就跟玩游戏一样，难度越高BOSS
2021-07-23 18:35:53
205
1
原创 2021-7-21 Bisenet V2 网络对Cityscapes公开数据集改变原有分类（4到5分类）
1.cityscapesScripts-master文件脚本下载再修改定位到下图所示文件进行修改：修改label图像的文件放在如下位置：在代码中gtFine根目录路径保持一致：修改labels.py运行labels.py：再运行createTrainIdLabelImgs.py会对gtFine文件夹进行修改，加载100%后完成。再把gtFine文件夹打包扔进服务器进行训练。2.对相关文件修改分类设置1.对bisenetv2_city.py文件进行修改2.对citysca
2021-07-21 13:41:04
854
1
原创 2021-7-20 pytorch学习基础笔记
1.torch起源2002发布Torch,后面Torch7在2011（Lua语言）大大制约了它的发展Facebook在Torch7的基础上，在2016年10月发布了0.1 THNN后端2018年和caffe进行了强强联合。2.梯度和学习率lr
2021-07-20 18:52:50
212
原创 2021-7-20 Cityscape 数据集从19分类到4分类BiSeNetv1-v2训练验证和测试一条龙
1. 训练分类16到9的结果迭代了2000次之后，IOU差不多到0.6-0.7这样子~网络选用BiSeNetV1做的，迭代四万次之后的模型测试结果：2. 网络替换成BiSeNet V2再次进行训练和测试迭代次数8万次网络 Bisenet V2分类类别：n_cat=4 (树木、草地、道路和背景)如下图是BiSeNet V2迭代2千次的结果：接下来是迭代十万次，服务器还在疯狂加班中……...
2021-07-20 17:35:20
1646
7
原创 2021-7-20 Linux服务器终端terminals关不掉怎么办？？？
终端不能Ctrl+Z或者加Ctrl+C的话，只有通过杀掉进程来删除例如实时监测GPU情况 watch -n 1 nvidia-smi （-n 1代表1秒 可以自行设置）查看进程ps -ef 并找到要杀掉的进程 # ps -ef //显示所有命令，连带命令行kill -9 PID 杀掉特定某个进程再进一步查看是否杀成功可以看到 这个不想要的终端已经被kill掉了...
2021-07-20 11:46:51
1397
原创 在Linux终端下查看GPU正常使用的情况
首先，在终端输入nvidia-smi：可以查看当前正常使用的GPU情况，如下图所示：如果要一直刷进度 nvidia-smi -l (一般看数据训练情况) nvidia-smi 实时刷新 实时显示显存使用情况进程会一直刷出来~想要终止其中某个/或几个GPU进程，可通过以下命令实现：kill -9 PID现在要关闭占用2和3号GPU的四个进程的PID分别是：19341、19367、19341、19367（其实，后2个和前2个是一样的，因为我在训练的时候指定了用2个GPU训练，实际只包含2个
2021-07-20 10:44:46
8939
原创 TypeError: Caught TypeError in DataLoader worker process 0.
1.TypeError: Caught TypeError in DataLoader worker process 0.和TypeError: ‘NoneType’ object is not subscriptable
2021-07-19 18:01:53
2828
原创 2021-07-15 深度学习服务器Linux终端网络训练training结果（顶会ECCV网络BiSeNet）
1.网络BiSeNetV1训练training结果训练集结果在好多个小时终于出来了哈哈哈哈，在迭代8万次之后结果如图：$ python evaluate.py --config configs/bisenetv1_city.py --weight-path /path/to/your/weight.pth测试环节：python tools/demo.py --config configs/bisenetv1_city.py --weight-path ./res/model_final_v1_cit
2021-07-15 18:24:04
216
1
原创 训练Epoch, Batch, Iteration
4.关于训练Epoch, Batch, Iteration。名词定义Epoch使用训练集的全部数据进行一次完整的训练，简称“一代训练”Batch_size使用数据集中指定小部分样本进行一次反向传播参更新，这小部分样本称为“一批数据”Iteration使用一个Batch中的数据进行一次参数更新的过程，简称“一次训练”epoch：训练时，所有训练数据集都训练过一次。batch_size：在训练集中选择一组样本用来更新权值。1个batch包含的样本的数目，通常设为2
2021-07-14 18:54:51
1278
1
原创 Python文件引用出ImportError: attempted relative import with no known parent package
问题说明：在做一个项目，采用包的形式进行文件组织，运行代码是会报错ImportError: attempted relative import with no known parent package，下面先贴出解决方案。└── project ├── __init__.py ├── main.py └── modules ├── __init__.py └── module1.py └── module2.py └── ui ├── __
2021-07-14 18:51:42
1743
原创 2021-7-14 深度学习服务器Linux终端网络训练training（顶会ECCV网络BiSeNet）
Linux终端执行：通过readme.md文件的指示：终端执行以下文件：bisenetv1 cityscapesLinux命令如下：export CUDA_VISIBLE_DEVICES=0,1cfg_file=configs/bisenetv1_city.pyNGPUS=2python -m torch.distributed.launch --nproc_per_node=$NGPUS tools/train_amp.py --config $cfg_file※ 注意以下问题：1
2021-07-14 16:57:29
404
原创 2021-07-12 深度学习服务器网络测试（顶会ECCV网络测试）
一、 BiSeNet分割网络测试环节在demo.py里面，正式进入测试环节：进入执行.py文件所在的文件夹再执行!!# python demo.py报错环节：1. 服务器经常由于路径文件查询不到，采用…/对上一目录文件夹进行展示。error 1:Solution 1：sys.path.append("..")插入头文件，like this:2. 对文件（.py/.pth/.png etc）读取报错error 2:Solution 2：../configs/bisenet
2021-07-12 19:04:18
431
原创 2021-07-08执行Linux的命令分析
在进行深度学习实验时，GPU 的实时状态监测十分有必要。执行Linux的命令：# /bin/bash1. 查看CPU情况：输入：lscpu2. 查看GPU情况：输入：nvidia-smi上图是服务器上 Tesla V100-SXM2-32GB 的信息，下面一一解读参数。上面的表格中的红框中的信息与下面的四个框的信息是一一对应的：GPU：GPU 编号；Name：GPU 型号；Persistence-M：持续模式的状态。持续模式虽然耗能大，但是在新的GPU应用启动时，花费的时间更少
2021-07-08 11:29:12
171
原创 高效的公式提取神器Mathpix snipping Tool+ Mathtype
推荐一个有用高效的公式提取神器Mathpix snipping Tool+ Mathtype，Mathpix snip是一款功能强大、很有用的公式识别及复制软件，能够将已有的PDF或CAJ等文中的公式、纸上打印的公式、甚至在纸上手写的公式统统转换成Latex公式，可以快速复制公式到word，支持在线编辑。提取准确率高达98%.由于每次借鉴传统公式或对别人的公式进行引用，针对太过冗长繁琐的公式，用PDF转WORD或CAJ转成编辑格式，会出现乱码格式错乱等一系列问题，用这个方法可以完美复制出编辑公式格式。快
2021-05-28 18:38:03
6694
原创 高维多元数据拟合回归如何进行？？？
一、高维多元数据非线性/线性拟合：Matlab绘制三维空间网格散点图，使用cftool工具箱实现三维空间绘图。cftool工具箱是应用程序中的Curve Fitting应用。选择拟合曲线的类型，工具箱提供的拟合类型有：Custom Equations：用户自定义的函数类型。根据需求自行设定，但是有时候要根据实际数据情况设定，不然会出现偏差太大的问题，特别是对于实验结果数据拟合时，要根据变量与因变量之间的实际潜在趋势关系进行合理设定。Exponential：指数逼近，有2种类型， aexp(bx) 、
2021-04-27 19:59:15
11773
1
原创 激活函数sigmoid和激活函数softmax
1.激活函数sigmoidSigmoid函数是一个在生物学中常见的S型函数，也称为S型生长曲线。在信息科学中，由于其单增以及反函数单增等性质，Sigmoid函数常被用作神经网络的激活函数，将变量映射到0,1之间。图像归一化的过程：...
2020-12-29 15:30:26
11058
1
原创 卷积神经网络系列之卷积/池化后特征图大小怎么计算？？
1.卷积后的大小：W：矩阵宽，H：矩阵高，F：卷积核宽和高，P：padding（需要填充的0的个数），N：卷积核的个数，S：步长width：卷积后输出矩阵的宽，height：卷积后输出矩阵的高width = （W - F + 2P）/ S + 1height = （H - F + 2P） / S + 1当conv2d(), max_pool() 中的 padding=SAME时，width=W，height=H，则保证输入输出尺寸图片大小相等，当padding=‘valid’时，P=0，相当于不填
2020-12-16 17:41:46
10062
3
原创 Windows10下安装Anaconda3(附带python3.7.9)+Tensorflow2.0.0+Pycharm
下载安装包时最好不要走官网下载，尽量使用开源镜像网站，这样会省下很多时间成本，安装配置一条龙希望你喜欢~
2020-12-03 17:05:42
2684
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人