深度学习
圣诞节不感冒
每天收获一点就好
展开
-
DCGAN生成cifar10, cifar100, mnist, fashion_mnist,STL10,Anime图片(pytorch)
下面的代码时是用DCGAN生成#选择cifar10, cifar100, mnist, fashion_mnist,STL10,Anime图片Anime数据请在https://www.kaggle.com/CooperUnion/anime-recommendations-database下载,其他数据都是pytorch自带,在线下载即可目录情况:DCGAN3的目录情况generated_fake目录:有的模型已经训练,有的没有,如果提示模型文件不存在,请将resume.原创 2021-04-15 19:29:26 · 3999 阅读 · 7 评论 -
CGAN生成cifar10, cifar100, mnist, fashion_mnist,STL10,Anime图片(pytorch)
完整代码:https://wwe.lanzous.com/iVadvo386ofCGAN比DCGAN更进一步,利用标签信息可以生成指定标签的数据。DCGAN的代码:https://blog.csdn.net/stay_zezo/article/details/115735276下面是完整的CGAN的代码,目录请对比上面的DCGANimport torch,torchvisionimport torch.nn as nnimport torchvision.transforms as t原创 2021-04-15 19:55:30 · 2075 阅读 · 2 评论 -
Pytorch和Numpy的默认类型
1、对于整形数据部分的默认类型区别pytorch创建的整数tensor是torch.int64类型, 64位类型Numpy创建的整数ndarrays是np.int32, 32位类型2、对于浮点数据部分的默认类型区别pytorch创建的默认浮点类型是torch.float32, 32为类型 Numpy创建的默认浮点类型是np.float64, 64位类型 ...原创 2021-12-13 21:31:56 · 2122 阅读 · 0 评论 -
pytorch自带的one-hot编码方法
pytorch现在自带的将标签转成one-hot编码方法torch.nn.functional.one_hot(tensor,num_classes=-1)→LongTensor下图是pytorch官网的例子1、不指定标签类别数时,pytorch默认将tensor中最大值作为标签类别最大数下面的tensor([2,3,4]), 标签类别最大数会默认为4, 即默认是有标签(0, 1, 2, ,3, 4)五中标签2、指定标签类别数时...原创 2021-12-14 20:31:21 · 21638 阅读 · 2 评论 -
KDD_CUP99数据集处理和测试(已处理数据可下载)
已处理数据集下载:https://wwe.lanzouw.com/iLPMrxvrbtg数据处理和性能测试代码下载:https://wwe.lanzouw.com/irwB4xvrgvi原创 2021-12-22 22:58:01 · 3516 阅读 · 4 评论 -
KNN识别手写数字MNIST
使用sklearn的KNN实现类,neighbors.KNeighborsClassifier,模型精度达到96.7%数据集可以在线下载,也可以手动下载:mnist数据集地址:https://www.lanzouw.com/ib1UGg2acqbimport torch, torchvisionfrom sklearn import neighbors#加载mnist数据集train_dataset = torchvision.datasets.MNIST(root='./data原创 2021-12-16 01:43:52 · 2211 阅读 · 0 评论 -
numpy实现神经网络代码(mnist手写体识别)
实现四层神经网络,如下图:反向传播原理:https://blog.csdn.net/ft_sunshine/article/details/90221691import numpy as npimport torchvisiondef tanh(x): s1 = np.exp(x) - np.exp(-x) s2 = np.exp(x) + np.exp(-x) s = s1 / s2 return s# 标签one-hot处理def ..原创 2020-05-28 12:23:46 · 3083 阅读 · 2 评论 -
制作pytorch数据集
自定义的dataset类需要继承torch.utils.data.Dataset需要实现必要的魔法方法:__init__魔法方法里面进行读取数据文件 __getitem__魔法方法进行支持下标访问 __len__魔法方法返回自定义数据集的大小,方便后期遍历面已经定义好了抽象数据,只需给出自己的dataset和idxs(数据的索引列表))from torch.utils.data import DataLoader, Dataset class DatasetSplit(Dataset)原创 2021-04-11 13:07:35 · 1630 阅读 · 0 评论 -
cnn识别cifar10、cifar100(pytorch)
下面的代码是cnn识别cifar10,如果是cifar100,将数据集的改成cifar100,然后模型的输出神经元10改为100即可。import torch,torchvisionimport torch.nn as nnimport torchvision.transforms as transforms#定义模型class CNNCifar(nn.Module): def __init__(self): super(CNNCifar,self).__init__原创 2021-04-07 15:39:55 · 4899 阅读 · 7 评论 -
cnn识别mnist、Fashion-MNIST(pytorch)
下面的代码是cnn是被MNIST,如果识别Fashion-MNIST,可以将数据集换成Fashion-MNIST即可。第一个全连接的输入神经元个数如何确定,可以参考我的另一篇博客。即nn.lInear(1600,128)的中数字1600如何确定的?import torch,torchvisionimport torch.nn as nn#定义模型class CNNMnist(nn.Module): def __init__(self): super(CNNMnis.原创 2021-04-07 13:33:44 · 502 阅读 · 0 评论 -
KDD_cup99 pytorch
KDD_Cup99数据集,由于全部的数据集太大,训练集我们只取官网给的10%数据,即kddcup.data_10_percent.gz。下面是我们下载的数据集。源数据集下载地址(未处理的数据):http://kdd.ics.uci.edu/databases/kddcup99/kddcup99.html处理的后的数据下载地址:训练集:23种标签,包含normal正常和22种攻击类型标签。包含494021条数据测试集:38种标签,包含normal正常和37中攻击标签。包含311029条原创 2021-03-15 16:25:38 · 3889 阅读 · 12 评论 -
BelgiumTS交通数据集分类-pytorch版
数据集下载地址:https://wws.lanzous.com/b01i4vc4b密码:6y8b注意:文件大小494M,有点大,百度云太慢不考虑,蓝奏云只能上传小于100M的,所以,将训练集拆分压缩了,使用时请将Training(0~30)和Training(31~61)合并到一个文件夹中这个数据集有62个类别,可以做分类任务,数据量不是很多,所以我使用旋转、翻转对数据集进行增强。得到18300个图片。数据集注解:类别:62类,训练集和测试集都有标签训练集:4575张图片,下面的代码我原创 2021-03-08 16:43:03 · 2443 阅读 · 7 评论 -
NSL-KDD多分类(pytorch版)
import torchfrom torch import nnfrom torch.nn import initimport numpy as npimport pandas as pdimport torch.utils.data as Datafrom sklearn.model_selection import train_test_splitfrom sklearn.preprocessing import StandardScaler, MinMaxScaler, LabelEn.原创 2021-01-19 02:04:34 · 7342 阅读 · 29 评论 -
如何装keras-gpu?
安装Anaconda 进入Anaconda Prompt,分别执行下面的每行代码,(创建环境,打印所有环境信息,进入环境,安装keras-gpu),等待安装完成即可, conda create --name keras python=3.6conda info --envsconda install keras-gpu 注:conda install keras-gpu会帮你一键安装所以依赖,包括cudnn, tensorflow-gpu, 不需要自己安装 ...原创 2021-01-11 17:54:27 · 1003 阅读 · 1 评论 -
colab如何用?
1、进入谷歌云盘,https://drive.google.com/drive/folders/1YVhILeZt_10YpaEyl42epx9oHUzGfVy42、上传你的程序到谷歌云盘,如下图,我上传一个我的程序文件夹federated-learning(如果你是在谷歌云盘直接写.ipynb文件,就不需要上传)3、在程序文件夹下右键选择更多,点击gooble colaboratory,建立一个.ipynb文件(如果你已经有了.ipynb文件,可以直接点击.ipynb文..原创 2020-12-31 11:30:51 · 1080 阅读 · 1 评论 -
RNN图
截自台大李宏毅老师的视频原创 2020-11-17 15:49:22 · 146 阅读 · 0 评论 -
AE自动编码器代码
自动编码器的结构自动编码器包括编码器和解码器。编码器对编码,解码器解码,作用跟主成分分析PCA类似,效果更好。编码器可以将高维度降到一维或其他维度。解码器进行解码,载跟原始数据对比计算损失函数。实际我们只使用到编码器的输出,也就是降维后的特征,然后送入监督学习训练模型。下面的代码是用编码器将fashion-mnsit降到一维,然后在感知机上训练分类模型。import torchfrom torch import nnfrom torch.utils.data import DataLoader原创 2020-09-01 15:03:50 · 1399 阅读 · 0 评论 -
pytorch出现‘DataLoader‘ object is not callable。
这个情况出现,有可能是函数的参数的问题,没注意参数的位置,将不可迭代的数据当成了可迭代的数据。原创 2020-07-30 19:57:09 · 4817 阅读 · 0 评论 -
ubuntu18安装pytorch-gpu,一行conda命令安装,不需要单独安装cuda
1、准备条件:Anaconda3 ubuntu18(其他版本应该也行,我电脑是ubuntu18) 已经安装了显卡驱动,如果没有,就用下面的代码安装#安装显卡驱动ubuntu-drivers devices #查看有哪些可用的显卡驱动#方式一(推荐)sudo ubuntu-drivers autoinstall #安装所有推荐驱动 #方式二:指定安装版本sudo apt install nvidia-440 #这里安装440,自己看有哪些可用的驱动安装完显卡驱动后记得重启原创 2020-07-29 19:09:14 · 1370 阅读 · 1 评论 -
(一)机器学习数据处理
数据处理工具首选pandas,如果你对pandas不了解,请参考我的上一篇博客的pandas操作总结。pandas操作1、获取数据本文用的数据集是100种植物种类数据集,用于分类任务100种树叶数据集2、加载数据集本文用到了其中的data_Tex_64.txt,使用pandas加载数据import numpy as npimport pandas as pdfrom sklearn import preprocessing#加载数据和标签df = pd.read.原创 2020-07-26 12:00:19 · 3091 阅读 · 0 评论 -
pandas操作
1、pandas的数据结构Series: 带标签的一维数组 DataFrame: 带标签的二维数组(表格)2、pandas常用操作 2.1导入pandas和numpyimport numpy as npimport pandas as pd 2.2 生成Series对象s = pd.Series([1, 3, 5, np.nan, 6, 8])s 2.3 生成DataFrame index代表行的...原创 2020-07-25 22:34:16 · 2375 阅读 · 0 评论 -
windows10 + Anaconda搭建tensorflow-gpu环境
第一步:安装Anaconda,第二步:使用anaconda建立一个虚拟的python环境注意需要根据tensorflow的要求选择python的版本,这里我们装的是1.8.0的tensorflow,所以我选择的python3.6(python3.6支持的tensorflow版本比较多,也推荐选python3.6)下图是我建立的python环境,名字是deeplearn...原创 2020-04-23 18:51:55 · 471 阅读 · 0 评论