![](https://img-blog.csdnimg.cn/f64ff972c0ee4b54a419c1501c9d236b.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
深度学习
deep learning的记录
吴天德少侠
这个作者很懒,什么都没留下…
展开
-
查看哪个docker环境在占用gpu
有时候发现某些docker占用gpu资源却没有训练,需要查清楚是哪个并且把它stop掉。原创 2024-06-26 11:45:33 · 320 阅读 · 0 评论 -
根据pid查看哪个程序在使用gpu显存
【代码】根据pid查看哪个程序在使用gpu显存。原创 2024-05-08 15:35:39 · 111 阅读 · 0 评论 -
深度学习图像分割标签onehot
【代码】深度学习图像分割标签onehot。原创 2024-04-26 10:03:59 · 346 阅读 · 0 评论 -
一篇文章给你讲清楚正常卷积与深度可分离卷积
就是用卷积核大小为1的卷积核,做正常卷积,此时卷积核个数为输出通道数,即4。很明显,这么一个简单的卷积,就减少了一半多的参数,所以会很快。还是上面的例子,由于输入通道为。原创 2024-03-26 11:48:07 · 1143 阅读 · 0 评论 -
查看显卡型号命令
【代码】查看显卡型号命令。原创 2023-06-21 10:26:35 · 278 阅读 · 0 评论 -
voc转coco
为什么都喜欢用coco格式的数据集,voc它不香吗,一张图片对应一个标注文件,不是更加直观?原创 2023-04-27 14:53:22 · 83 阅读 · 0 评论 -
python+tensorrt的预测
按照教程安装即可。原创 2023-04-18 10:27:52 · 270 阅读 · 0 评论 -
使用docker进行的tensorrt安装记录
版本,选择对应的包进行安装。例如我的python是3.9,所以。用户应该轻车熟路吧hhh),为了使其生效,应该需要重启电脑。的版本选择对应的版本。然后解压到自己想放到的位置。原创 2023-04-13 17:48:05 · 827 阅读 · 0 评论 -
卷积输出大小的计算公式
m的大小k大小sstride大小ppadding大小。原创 2023-04-11 11:01:28 · 456 阅读 · 0 评论 -
win10+结束gpu进程PID
的显存仍然没有释放掉,因此需要使用命令结束它,在跑深度学习的时候,有时候在终端使用。原创 2023-03-28 09:24:00 · 832 阅读 · 0 评论 -
生成monai框架的dataset的json文件
在使用导入数据,以及时,使用json文件组织数据。那么假设我们的数据图像文件放在images文件夹里面,标签数据放在labels文件夹里面,如何生成这种格式的json文件呢,并且训练集和验证集的比例为8:2。原创 2023-03-27 15:37:36 · 292 阅读 · 0 评论 -
利用PIL进行比例不失真的resize以及resize回去
python,PIL Image原创 2023-03-20 14:50:53 · 581 阅读 · 0 评论 -
tensorflow2.x里面BinaryCrossentropy的实现
Lossytrue×−logsigmoidypred))1−ytrue×−log1−sigmoidypred))(这是基于y_pred是logits的情况,如果已经经过了sigmoid就不需要再用sigmoid处理了)如果有多个batch_size,取平均值。原创 2023-03-17 11:01:25 · 208 阅读 · 0 评论 -
一个下载数据集的地方
深度学习原创 2022-11-18 17:01:35 · 74 阅读 · 0 评论 -
报错If this call came from a _pb2.py file
深度学习原创 2022-11-09 17:46:43 · 593 阅读 · 0 评论 -
吴恩达machine-learning-specialization2022第2周的optional lab: feature scaling and learing rate
机器学习原创 2022-10-06 22:26:52 · 814 阅读 · 0 评论 -
吴恩达machine-learning-specialization2022第2周的optional lab: multiple linear regression
机器学习原创 2022-10-05 20:43:38 · 567 阅读 · 0 评论 -
吴恩达machine-learning-specialization2022第1周的optional lab
机器学习原创 2022-10-02 22:17:32 · 2337 阅读 · 11 评论 -
使用tensorflow2写一个简单的线性回归模型的训练与预测
tensorflow2原创 2022-10-01 21:55:52 · 595 阅读 · 0 评论 -
利用PIL进行不失真的resize
resize,PIL原创 2022-06-22 17:22:17 · 1533 阅读 · 0 评论 -
python随机移动文件
前言在处理好数据之后,需要随机划分一些数据作为验证集代码# 随机移动1000个文件作为验证集import osimport randomimport shutilif __name__ == '__main__': source_image_dir = "train_nii_06/JPEGImages" # 包含所有的数据 source_label_dir = "train_nii_06/Segmentations" # 包含所有的标签 dst_image_dir =原创 2022-05-25 10:35:50 · 240 阅读 · 0 评论 -
将[0,255]的二值图像转成可以训练的[0,1]二值图像
前言在深度学习中的语义分割任务中,像素值大小代表种类,例如0为背景,1,2,3,...n1,2,3,...n1,2,3,...n代表了各个种类。因此如果下载的二分类语义分割数据集图像是0,2550,2550,255的二值图像的话,就需要存成0,10,10,1图像进行训练代码from PIL import Imageimport numpy as npimport osif __name__ == '__main__': work_dir = "Test_GroundTruth" # 图原创 2022-04-13 19:25:41 · 6526 阅读 · 23 评论 -
PIL图像的mode
在利用PIL库保存图像的时候报了一个OSError:cannot write mode I as JPEG的错。需要转成P格式使用png保存原创 2022-03-11 17:08:17 · 269 阅读 · 0 评论 -
将图像分割结果以彩色图展示
由于实际项目中没有那么多类,所以就假设有10个种类,每个种类设置对应一种颜色import numpy as npfrom PIL import Imageimport matplotlib.pyplot as pltif __name__ == '__main__': # input_shape = [5,5] img = np.random.randint(0,10,size=input_shape,dtype='uint8') plt.subplot(原创 2022-03-02 17:40:46 · 3235 阅读 · 0 评论 -
paddle实现3层msa的vision transformer
import paddleimport numpy as npimport paddle.nn as nnclass PatchEmbedding(nn.Layer): def __init__(self,image_size,patch_size,in_channels,embed_dim,dropout=0.0): super().__init__() self.embed_dim = embed_dim n_patches = (i..原创 2022-02-19 11:23:11 · 549 阅读 · 0 评论 -
图像分类的serving
import timeimport requestsimport jsonimport numpy as npfrom PIL import Imageimport matplotlib.pyplot as pltimport osdef mainProcess(image_data): """ 核心代码: 将请求数据发送到远端模型, 返回预测结果 """ start = time.time() ####---------------------.原创 2022-02-15 10:36:47 · 570 阅读 · 0 评论 -
按行读取txt返回去除换行符的列表
txt长这样代码:val_image_path = "your_datasets/ImageSets/Segmentation/val.txt" # 验证集txt路径 with open(val_image_path,'r',encoding='utf-8') as f: val_image_names = f.read().splitlines()原创 2022-02-14 13:24:44 · 314 阅读 · 0 评论 -
提高你的模型的性能建议
将训练分成2件事:原创 2022-02-11 21:37:25 · 253 阅读 · 0 评论 -
什么时候改变dev、test集指标
原创 2022-02-10 21:08:42 · 96 阅读 · 0 评论 -
train,dev,test数据集划分
这个dev应该就是验证集原创 2022-02-10 20:54:51 · 1423 阅读 · 0 评论 -
调参正交化
原创 2022-02-09 21:36:07 · 427 阅读 · 0 评论 -
tensorflow2实现coordinate attention
import tensorflow as tffrom tensorflow.keras.layers import (Conv2D,AvgPool2D,Input)def CoordAtt(x, reduction = 32): def coord_act(x): tmpx = tf.nn.relu6(x+3) / 6 x = x * tmpx return x x_shape = x.get_shape().as_list().原创 2022-02-08 13:26:08 · 2258 阅读 · 9 评论 -
使用tf2的saved_model进行推理
import tensorflow as tfimport cv2from PIL import Imageimport numpy as npimport colorsysimport osimport matplotlib.pyplot as pltdef resize_image(image, size): """ 等比例resize """ iw, ih = image.size w, h = size scale = min(w/i.原创 2022-02-08 09:18:28 · 635 阅读 · 0 评论 -
将很多images和xml在一起的文件分成train和val
假设现在标注完了是这样的文件夹需要将这些文件分成train和val放到不同的文件夹中。可以使用这个代码:""" usage: partition_dataset.py [-h] [-i IMAGEDIR] [-o OUTPUTDIR] [-r RATIO] [-x]example: python partition_dataset.py -x -i [PATH_TO_IMAGES_FOLDER] -r 0.1Partition dataset of images into tra.原创 2022-02-08 08:36:42 · 1119 阅读 · 0 评论 -
图像分割的tf-serving
记录一下使用tensorflow-serving部署图像分割的过程一、将h5权重文件转成saved_model可以部署的模型changeH5tosavedModel.pyimport tensorflow as tffrom nets.unet import Unet as unetif __name__ == '__main__': model = unet((512, 512, 3), 2, 'vgg') model.load_weights('EP100-los原创 2022-02-07 13:08:17 · 1365 阅读 · 0 评论 -
linux根据pid杀死占用gpu很大内存的进程
在vscode上使用远程服务器进行训练的时候,发现gpu进程的内存使用率居高不下,一直不动,新的训练就进行不了,因此需要强制关闭:使用例如:kill -9 33593就杀掉了那个占用gpu内存最高的那个进程。...原创 2022-01-28 17:27:28 · 2105 阅读 · 0 评论 -
将PNG标签中的非0像素值改成0并保存
from PIL import Imageimport numpy as npimport osfrom glob import globfrom tqdm import tqdmdef processPng(image_path): """ 后处理PNG标签,将其转为只包含[0,1]值的图片(在只有背景和1个类别下) """ image = Image.open(image_path) img_array = np.array(image) # 转成numpy数组.原创 2022-01-28 09:29:51 · 3533 阅读 · 1 评论 -
实时查看gpu利用率
windows:每隔1s查看一次nvidia-smi -l 1 linux每隔1s查看一次watch -n 1 nvidia-smi只查看一次nvidia-smi原创 2022-01-26 08:57:37 · 2788 阅读 · 0 评论 -
Xception的tensorflow2实现
from tensorflow.keras.layers import (Conv2D,Input,SeparableConv2D,MaxPooling2D, BatchNormalization,Activation,Add, GlobalAveragePooling2D,Dense,)from tensorflow.keras.models imp...原创 2022-01-25 17:12:57 · 305 阅读 · 0 评论 -
tensorflow2-serving部署,使用docker
与本文有关联的文章:resnet50图片分类目录一、安装docker:二、拉取tensorflow-serving镜像:三、将模型文件转成saved_model格式四、通过docker运行tensorflow-serving进行部署模型说明一下参数:0:前面几个参数不用变1:source模型保存的地方2:MODEL_NAME是你自己自定义的3:target也是你自己自定义的,但是我建议models不要动,就后面的字段改成和MODEL_NAME一样就可以了五、客户端..原创 2022-01-23 18:21:11 · 1647 阅读 · 0 评论