![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Alocus_
要每天学习!要进步!要自信!有任何问题联系我!
展开
-
计算数据集的均值、方差
目录1.背景2.代码3.说明1.背景在进行模型训练时,调整输入数据的均值和方差,能够使模型训练更加稳定、效果更好。如何计算数据集的均值和方差?2.代码###https://blog.csdn.net/weixin_43105540/article/details/119570461from itertools import repeatimport osfrom multiprocessing.pool import ThreadPoolfrom pathlib原创 2022-05-12 15:08:22 · 2567 阅读 · 0 评论 -
计算深度学习模型的参数量、复杂度(MACS、params)
背景:计算深度学习模型参数量有现成的脚本可供使用,如下。简单的使用方法参考了代码【2】依赖包介绍:pytorch框架中卷积网络的flops计数器:ptflops安装:pip install --upgrade git+https://github.com/sovrasov/flops-counter.pytorch.git##or#pip install ptflops说明【1】:此脚本用于计算乘法加法运算的理论量 在卷积神经网络中。它还可以计算参数的数量和 给定网原创 2022-04-26 11:17:05 · 4601 阅读 · 0 评论 -
计算深度学习模型的推理时间、fps
目录背景代码参考:背景评估模型的推理时间时有需要注意的地方。如torch.cuda.synchronize(),因为pytorch代码执行时异步的,使用该代码会等待gpu上所有操作结束后再接着运行代码、计算时间等【1】。代码函数【2】:import timedef measure_inference_speed(model, data, max_iter=200, log_interval=50): model.eval() # the fir原创 2022-04-26 10:58:27 · 6845 阅读 · 0 评论 -
深度学习模型中颜色空间转换
目录背景方法结论背景情况是这样的,我训练一个深度学习模型,用于图片的处理,读取图片时使用的是skimage包,然后进行一系列常见的处理变为tensor类型送入模型中进行训练。这个模型为我自己设计的,同时还有其他的论文设计的模型,他们共用一个数据预处理,现在我不想动数据处理模块,只想在我设计的模型中进行颜色空间的转换,看看模型在另外的颜色空间中是否有不一样的表现,那么如何做呢?方法所以就出现了比较蠢的方法,把即将送入模型中的tensor张量数据类型转一圈。先把batch维度原创 2022-03-26 19:56:23 · 5050 阅读 · 0 评论 -
生成h5类型数据集方法
代码#内容参考 https://blog.csdn.net/chenkz123/article/details/79640658#内容参考https://blog.csdn.net/weixin_43615222/article/details/84577293import osimport numpy as npfrom PIL import Imageimport tensorflow as tfimport matplotlib.pyplot as pltimport sklear原创 2020-11-05 16:02:58 · 2489 阅读 · 4 评论 -
Keras Preprocesing Layers 中的Resizing、Rescaling
layers.experimental.preprocessing.Resizing(IMG_SIZE, IMG_SIZE), layers.experimental.preprocessing.Rescaling(1./255)调整大小层将图片大小变为 IMG_SIZE*IMG_SIZE缩放层将像素值标准化为[0,1], 如果将图片标准化为[-1,1],可尝试如下代码 layers.experimental.preprocessing.Rescaling(1./127.5...原创 2021-05-15 08:53:09 · 4203 阅读 · 0 评论 -
tf.keras.preprocessing.text.Tokenizer()作用和简单使用 Tokenizer
作用:将文本向量化,或将文本转换为序列(即单个字词以及对应下标构成的列表,从1开始)的类。用来对文本进行分词预处理。示例import tensorflow as tf#Tokenizer 的示例tokenizer = tf.keras.preprocessing.text.Tokenizer( filters='')text = ["昨天 天气 是 多云", "我 今天 做 了 什么 呢"]tokenizer.fit_on_texts(text)tensorr = token原创 2021-05-17 16:46:34 · 2779 阅读 · 0 评论 -
pytorch中的矩阵乘和点乘
下面是pytorch中的矩阵乘,三种方式结果相同y1 = tensor @ tensor.Ty2 = tensor.matmul(tensor.T)y3 = torch.rand_like(tensor)torch.matmul(tensor, tensor.T, out=y3)下面是pytorch中的点乘,三种方式结果相同z1 = tensor * tensorz2 = tensor.mul(tensor)z3 = torch.rand_like(tensor)tor原创 2021-05-27 15:00:51 · 1497 阅读 · 0 评论 -
imagenet-vgg-verydeep-19.mat查看
jupyter notebook中import scipy.iodata = scipy.io.loadmat("pretrained-model/imagenet-vgg-verydeep-19.mat")print(type(data))输出<class 'dict'>输入print(data)输出原创 2020-12-29 16:36:39 · 807 阅读 · 0 评论 -
RuntimeError: Expected 4-dimensional input for 4-dimensional weight 3 3 1, but got 3-dimensional inp
源代码GitHub - sanghyun-son/EDSR-PyTorch: PyTorch version of the paper 'Enhanced Deep Residual Networks for Single Image Super-Resolution' (CVPRW 2017)PyTorch version of the paper 'Enhanced Deep Residual Networks for Single Image Super-Resolution' (CVPRW 2017原创 2022-03-05 15:57:42 · 3444 阅读 · 1 评论 -
自然场景文字数据集
自然场景数据集有SVT(Street View Text)数据集[1]、MSRA-TD(MSRAText Detection)数据集[2]、Chars74K数据集[3]、COCO-Text(Common Objects inContext)数据集[4]、ICDAR 比赛数据集等。其中Street View Text数据集所有图像来源于Google街景视图,图像的分辨率较低,文字变化较大。该数据集包括350张街景图像,多数图像大小为1280x1024左右,该数据集来至于真实的街景场...原创 2021-11-24 21:16:34 · 1466 阅读 · 0 评论 -
【pytorch】详解vanilla(BCEWithLogitsLoss )、lsgan(nn.MSELoss)
有如下代码块 self.gan_mode = gan_mode if gan_mode == 'lsgan': self.loss = nn.MSELoss() elif gan_mode == 'vanilla': self.loss = nn.BCEWithLogitsLoss() elif gan_mode in ['wgangp']: self.loss = .原创 2021-08-07 15:53:36 · 1498 阅读 · 0 评论 -
自编码器(基于Ian Goodfellow 等的Deeplearningbook)、变分自编码器详细解释
一、自编码器 自编码器是一种特殊的神经网络,经过训练,它能够还原输出到它的输入。其内部有一个隐藏层h描述了一种编码,能够表示输入。该网络可以看做两部分组成,一个编码器函数h=f(x),一个解码器能够进行r=g(h)的重构,如图1所示。如果一个自编码器仅仅简单地学到g(f(x))=x,那么它不算特别有用。相反,设计出来的自编码器应该不能够完美地学习这种还原。它们某些方面应会受到限制,这使得它们只能某种程度上进行这种还原,或者说仅还原训练数据相似的输出。因为模型被强制优先还原输入的某些方面,它通常学...原创 2021-07-05 01:18:04 · 1504 阅读 · 1 评论 -
pytorch中张量用GPU计算
pytorch中的张量默认存放在CPU设备中,tensor = torch.rand(3,4)print(f"Shape of tensor: {tensor.shape}")print(f"Datatype of tensor: {tensor.dtype}")print(f"Device tensor is stored on: {tensor.device}")输出:如果GPU可用,将张量移到GPU中# We move our tensor to the GPU if原创 2021-05-27 15:08:42 · 893 阅读 · 0 评论 -
!pip install -q git+https://github.com/tensorflow/docs安装tensorflow_docs
github无法访问或者访问速度过慢,可以访问https://gitee.com/创建gitee账号,新建仓库:然后 点击导入 输入github的网址(如https://github.com/tensorflow/docs)即可:通过此种方式访问仓库快,下载也快。如果通过命令!pip install -q git+https://github.com/tensorflow/docs安装tensorflow_docs包失败,将后面网址替换为你克隆后的网址即可安装。...原创 2021-05-14 09:31:47 · 1016 阅读 · 0 评论 -
令history = model.fit(...),用history使得训练结果可视化,并在过拟合之前提前结束训练(tf,keras)
hist = pd.DataFrame(history.history)hist['epoch'] = history.epochhist.tail()def plot_history(history): hist = pd.DataFrame(history.history) hist['epoch'] = history.epoch plt.figure() plt.xlabel('Epoch') plt.ylabel('Mean Abs Error [MPG]').原创 2021-05-14 08:47:32 · 11665 阅读 · 1 评论