神经网络数据准备
心之所向521
锲而舍之,朽木不折;锲而不舍,金石可镂!
敬畏代码!
展开
-
python利用reportlab打印图文并茂内容
python利用reportlab打印图文并茂内容原创 2022-06-14 22:01:37 · 1068 阅读 · 2 评论 -
os.listdir(path)避坑指南
最近再做一个项目,需要处理大量的数据(包含又图片和txt格式文件),所以需要用到os.listdir()函数来对文件下的图片或者txt进行处理,但是需要特别注意的是os.listdir()函数虽然是列举的当前文件下的所有文件,但是不一定会列举出原来的顺序!!!文件路径下的子文件是这样分布的:例如:import osif __name__ == '__main__': path = "E:/桌面/rgbLabel-all/" filelist = os.listdi.原创 2022-04-23 17:25:08 · 8368 阅读 · 5 评论 -
pytorch模型加载跑测试集和训练过程中跑测试集结果不一致的问题?
前馈网络使用with torch.no_grad()和model.eval()比较问题描述将训练好的模型拿来做inference,发现显存被占满,无法进行后续操作,但按理说不应该出现这种情况。RuntimeError: CUDA out of memory. Tried to allocate 128.00 MiB (GPU 0; 7.93 GiB total capacity; 6.94 GiB already allocated; 10.56 MiB free; 7.28 GiB ...原创 2022-04-21 23:31:27 · 4554 阅读 · 13 评论 -
判断图片通道数及图片三通道转单通道方法
判断图片通道数from PIL import Imageimg=Image.open('image_test/1.png')print(len(img.split()))三通道转单通道简化版: import cv2 img = cv2.imread('01.png', cv2.IMREAD_GRAYSCALE) cv2.imwrite("001.png", img)批量处理完整版:##修改图片通道 path = "E:\\桌面\\te\\image_3_n...原创 2022-04-15 20:56:30 · 3204 阅读 · 6 评论 -
h5文件格式详解及h5文件与图片文件之间的相互转换(python实现)
背景:h5文件详解H5文件是层次数据格式第5代的版本(Hierarchical Data Format,HDF5),它是用于存储科学数据的一种文件格式和库文件。由美国超级计算中心与应用中心研发的文件格式,用以存储和组织大规模数据.H5将文件结构简化成两个主要的对象类型: 数据集dataset,就是同一类型数据的多维数组 组group,是一种容器结构,可以包含数据集和其他组,若一个文件中存放了不同种类的数据集,这些数据集的管理就用到了group! 直观的理解,可以参考我们的文件系统原创 2022-04-15 20:54:23 · 24636 阅读 · 14 评论 -
python爬取双色球2003-2022年所有数据
直接上代码:import requests, bs4import os, timeimport operatorfrom itertools import combinations, permutationsimport torchclass DoubleColorBall(object): def __init__(self): self.balls = {} self.baseUrl = 'http://tubiao.zhcw.com/tub.原创 2022-04-05 15:35:47 · 4682 阅读 · 4 评论 -
python实现二维数组中元素转化为float64做法
思路: 先将二维数组转化为二维列表 将二维列表中的所有元素转化为float64格式 最后将其转化为ndarray ##对二维方阵进行二维卷积,直至卷积为1*1的数值 while(len(data2[0]) != 1): b = [] data2 = data2.numpy() ##将tensor转化为为数组格式 dat...原创 2022-04-01 19:27:58 · 3733 阅读 · 0 评论 -
python实现将二维矩阵m * n补零为方阵n * n
思路: 先将二维矩阵m * n转化为列表 进行补零操作 最后再次转化为数组 data = data.tolist() ##作为矩阵的data,先将其转化为列表 ###添加0,使二维温度矩阵变为方阵 for item1 in data: if(len(item1) != len(data)): if(len(item1) &...原创 2022-04-01 19:26:46 · 1831 阅读 · 3 评论 -
python实现离散点图画法
目录改进:再次改进:再次改进:改进:基础代码pred_y = test_output.data.numpy()pred_y = pred_y.flatten()print(pred_y, 'prediction number')print(test_y[:355].numpy(), 'real number')import matplotlib.pyplot as pltplt.rc("font", family='KaiTi')plt.figure()f, ax原创 2022-03-31 18:31:52 · 4681 阅读 · 28 评论 -
python批量建立对象
方法一:class Blog: def __init__(self,num): print("a new object num is",num) self.value = num def __str__(self): return str(self.value+3) # 循环建立四个对象,locals()函数可以将字符串转换为变量名!#具体的操作和含义我并不清楚,大家可以自行百度~for i in range(1,5): ...原创 2022-03-31 18:15:49 · 2734 阅读 · 4 评论 -
数据写入excel表格并保存
直接上代码:# -*- coding: utf-8 -*-import xlsxwriter as xwdef xw_toExcel(data, fileName): # xlsxwriter库储存数据到excel workbook = xw.Workbook(fileName) # 创建工作簿 worksheet1 = workbook.add_worksheet("sheet1") # 创建子表 worksheet1.activate() # 激活表原创 2022-03-31 18:12:31 · 522 阅读 · 0 评论 -
pytorch生成种子,以及权重的保存和导入
pytorch生成种子,可重复训练:##牺牲计算效率,提升准确率from torch.backends import cudnncudnn.benchmark = False # if benchmark=True, deterministic will be Falsecudnn.deterministic = True###设置种子,保证可重复性seed = 1random.seed(seed)np.random.seed(seed)torch.manua...原创 2022-03-09 16:15:55 · 492 阅读 · 1 评论 -
python对文档中元素操作---删除、替换等
pthon更换文档中某元素:with open('E:\\桌面\\train.txt', 'r') as f: lines = f.readlines()with open('E:\\桌面\\1704.txt', 'a') as ff: # 此处 w 和 a,均可,反正是新建的临时文件,文件不存在时会自动创建 for line in lines: # kv = line.strip().split(' ') kv = line.split(' ...原创 2022-03-09 16:14:36 · 774 阅读 · 0 评论 -
pytorch中网络训练添加日志
pytorch中添加日志如果是指保存训练过程中的loss,accuracy等metric的话,可以采用下面的方法:import logging def get_logger(filename, verbosity=1, name=None): level_dict = {0: logging.DEBUG, 1: logging.INFO, 2: logging.WARNING} formatter = logging.Formatter( "[%(asctime...原创 2022-03-09 16:11:19 · 1741 阅读 · 0 评论 -
python实现对doc、txt、xls等文档的读写操作
目录1.python实现对doc文档的读取2.python实现对txt文档的读取3.python实现对xls表格的读取1.python实现对doc文档的读取#读取docx中的文本代码示例import docx#获取文档对象file=docx.Document("path")print("段落数:"+str(len(file.paragraphs)))#段落数为13,每个回车隔离一段#输出每一段的内容for para in file.paragraphs: pri..原创 2022-01-20 11:00:51 · 5742 阅读 · 5 评论 -
神经网络训练数据准备---数据标签在numpy和tensor之间的转换及处理---Pytorch实现
目录1.从txt文档中读取训练数据和测试数据2.从txt文件中读取标签数据3.将训练数据和测试数据转化为tensor形式,为后面训练做准备,因为训练数据在pytorch要求一般为tensor格式4.将标签转化为float型(此处是因为做的是回归任务),如果想要做分类任务的话需要将标签转化为long型!5.将已经转化为tensor格式的(train_datas, train_labels)和(test_datas, test_labels)转化为Data.DataLoader可以使用的格式原创 2022-01-06 21:23:03 · 3502 阅读 · 4 评论