![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
storm岚
努力留住头发的程序员
展开
-
用pytorch搭建生成对抗网络(GAN)
生成对抗网络是2014提出的网络模型,具有很好的图像生成效果,借助最近在学习的pytorch搭建一个GAN网络,该网络采用全连接实现。import torchfrom torch import nnimport torchvision.transforms as tfsfrom torch.utils.data import DataLoaderfrom torchvision.datasets import MNISTimport numpy as npimport matplotlib.p原创 2021-01-04 20:33:15 · 1891 阅读 · 2 评论 -
解决图像数据转为TFrecord格式后文件太大的问题
解决图像数据转为TFrecord格式后文件太大的问题上次用tensorflow手册上的方法,将我的图片数据转为TFrecord格式后,发现数据大小是原来数据大小的十倍,严重占用了我的内存,于是就查了一些资料改良一下图片转TFrecord的方式。具体代码如下,转化后的图像大小比原来的图像数据集还小。而且读取速度快了很多。import osimport tensorflow as tffro...原创 2019-11-22 10:37:18 · 2681 阅读 · 2 评论 -
限制深度学习训练中GPU的显存使用
在tensorflow中,使用GPU训练模型会默认占有所有的显存,因此需要添加一些限制条件,使显存不会被全部占用。1.分配GPU的显存gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.7)sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))...原创 2019-11-18 10:34:35 · 1673 阅读 · 0 评论 -
将图片数据转换成TFrecord格式
Tensorflow提供了TFrecord格式来存储数据。下面介绍如何将自己的图像数据转换为TFrecord格式。创建TFrecord格式文件:def creat_tfrecord(class_path,size): writer = tf.python_io.TFRecordWriter("train.tfrecords") for img_name in os.listdi...原创 2019-11-17 22:16:03 · 1350 阅读 · 0 评论 -
imgnet数据集清洗
最近在使用imgnet的过程中发现老是出现报错的问题,最开始以为是代码的问题,后来不断的查找,发现出在数据集上面,imgnet数据集的图片来自网络,大部分图片都是RGB,但是还有一些是灰度图甚至四维图,当这些数据被导入进深度学习模型时,会导致模型报错。所以就需要将这种图片先筛选出去,我选择直接删除。具体实现如下:img_dir = '../../data/Imgnet2015_32'img_f...原创 2019-11-06 22:24:12 · 1259 阅读 · 0 评论 -
安装tensorflow GPU版本(亲测有效)
参考链接:https://blog.csdn.net/gangeqian2/article/details/79358543原创 2019-10-13 14:03:33 · 247 阅读 · 1 评论 -
在Win10上安装Anaconda和tensorflow
1.去官网下载anaconda,地址:https://www.anaconda.com/distribution/#download-section或者清华镜像网站:https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/2.按照提示,直接安装。3.安装成功后,打开anaconda prompt。在这输入命令:conda --versio...原创 2019-10-13 14:00:55 · 218 阅读 · 0 评论 -
读取cifar数据集
读取cifar数据集在学习深度学习的过程中必须要用到数据集对模型进行训练,本文主要介绍如何读取cifar数据集。cifar数据集的下载地址为:CIFAR官网,下载速度较慢百度云下载地址为:百度云下载地址下载好后解开压缩包。1.用python3来读取cifar文件 import pickle def unpickle(self,f): fo = open(f,...原创 2019-09-04 21:03:56 · 1885 阅读 · 0 评论 -
用正则化避免过度拟合
用正则化避免过度拟合过拟合:是指但训练一个复杂模型时,能很好的学习每一个输入数据。但是输入的数据存在着噪声,使得训练出来的模型被噪声影响,虽然在训练数据上表现的非常好,但是模型的泛化能力很弱。接下来将引入正则化来避免模型过度拟合。正则化(Regularization )是一类通过限制模型复杂度,从而避免过拟合,提高泛化能力的方法,包括引入一些约束规则,增加先验、提前停止等。正则化有两种,一...原创 2019-09-05 21:28:50 · 953 阅读 · 0 评论