Python
python学习
pangpd
Just a boy caught up in dreams and fantasies !
展开
-
【Python】升级python包到指定版本
如:升级scikit-learn到版本 0.22.1python -m pip install --user --upgrade scikit-learn==0.22.1原创 2020-09-23 16:06:58 · 3402 阅读 · 1 评论 -
【Python】tif图像转为mat格式
如题,代码:import scipy.io as sioimport skimage.io# tif图imgpath = r'D:\UseTools\OneDrive\codes\New-Research\data\indianpines_ts.tif'imggt = skimage.io.imread(imgpath)# 转为matsio.savemat(r"D:\UseTools\OneDrive\codes\New-Research\data\indianpines_ts.mat",原创 2020-09-14 10:06:17 · 2883 阅读 · 1 评论 -
【Pytorch】记录Pytorch搭建的模型引发的CUDA out of memory错误
问题描述已经是第三次记录MemoryError的问题了!!!第一次:https://blog.csdn.net/weixin_43519707/article/details/106095449第二次:https://blog.csdn.net/weixin_43519707/article/details/106376094实验研究要用到三个数据集,再正常运行玩第一个数据集后,在进行第二和第三个数据集进行实验,但是遇到了:RuntimeError: CUDA out of memory. Tr原创 2020-07-23 20:02:39 · 928 阅读 · 0 评论 -
【Python】记录matplotlib和CV2读取图像的问题
问题描述使用python通过matplotlib包画出了所需的图像,打算通过CV2包读取图像,进一步对这些图像进行位置的排放。此时出现了排放后的图像与排放前的图像颜色不匹配的问题原始图像(部分图像)排列后的图像(部分图像)参考链接https://www.cnblogs.com/picassooo/p/11818800.html...原创 2020-05-27 11:28:45 · 333 阅读 · 0 评论 -
【Python】记录一行代码引发的MemoryError问题
问题描述在之前的一篇博客后续中,我记录了一个有关MemoryError问题,当时仅是根据自己实际需求简单的叙述了一下解决方式,最近又遇到了这个头疼的问题。具体异常如下,其实就是创建的np矩阵太大了,内存不够使!这太可怕了,实验室工作站32G内存,你告诉我不够用!我真的找不到目前实验室更好的设备了!!!几种解决方式众多大哥给出的解决方式如下:(1)既然是内存不够使,那就换个更大内存配置的电脑吧(这TM还用你说!)(2)numpy 在定义数组的时候,采用更低的精度。从float64降低为float原创 2020-05-27 11:11:50 · 677 阅读 · 0 评论 -
【Python】读取txt文件,获取指定行中指定位置数据
问题描述需求:读取大约有200多行的txt文件,获取17-216行中每行中指定位置中的数值。实现#-*- coding: utf-8 -*-"""@Date: 2020/5/21 21:53@Author: Pangpd@FileName: read_log.py@IDE: PyCharm@Description: 获取日志中的训练精度和损失"""import linecache#获取指定行内容def get_line(file, nums_line): retu原创 2020-05-21 23:11:46 · 16414 阅读 · 0 评论 -
【Python】记录python源码multiprocessing/reduction.py引发的问题
问题描述使用测试集在保存的模型测试最终分类精度时test_loss, test_acc = test(test_loader, model, criterion, epoch, use_cuda)引发异常:OverflowError: cannot serialize a bytes object larger than 4 GiBOverflowError:无法序列化大于4 GiB的字节对象。原因大概意思是测试集太大了,无法进行正常处理。有大佬说这是python的一个Bug(https:原创 2020-05-13 12:41:03 · 2552 阅读 · 0 评论 -
【Python】自定义Log日志,选择性输出和保存日志
python中日志级别可以通过level参数,设置不同的日志级别。当设置为高的日志级别时,低于此级别的日志不再打印。五种日志级别按从低到高排序:DEBUG < INFO < WARNING < ERROR < CRITICALlevel设置为DEBUG级别,所有的日志都会打印import logginglogging.basicConfig(level=l...原创 2020-05-02 12:29:04 · 1527 阅读 · 0 评论 -
【Python】统计数据标准差(总体标准差,样本标准差)
前言最近做实验需要统计实验结果的均值,标准差,mark一下,方便查阅!总体标准差样本标准差有的也叫无偏样本标准差,就是自由度为 n-1代码imimport numpy as npeach_acc1 = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10]print("总体标准差:", np.std(each_acc1))print("样本标准差:", np.std(...原创 2020-05-02 12:00:13 · 10256 阅读 · 3 评论 -
【Deep Learning】样本的随机分布—numpy中shuffle()和permutation()函数
前言使用深度学习训练模型时,数据的随机分布非常重要,增加模型的泛型能力,防止过拟合!shuffle()函数在原有数据的基础上操作,打乱元素的顺序,无返回值import numpy as nparr = np.arange(10)print(arr)[0 1 2 3 4 5 6 7 8 9]np.random.shuffle(arr)print(arr)[6 4 7 3 0 1 ...原创 2020-04-29 01:06:24 · 588 阅读 · 0 评论 -
【Python】numpy.random.seed()和numpy.random.RandomState()区别
前言在使用深度学习处理数据数,为了保证样本的随机分布和实验的可复现性,经常会使用到numpy.random.seed()和numpy.random.RandomState()两个函数,这个两个函数有什么用法和区别?numpy.random.seed()有个博主介绍的非常棒:seed()里的数字就相当于设置了一个盛有随机数的“聚宝盆”,一个数字代表一个“聚宝盆”。当在seed()的括号里设...原创 2020-04-29 00:21:37 · 1146 阅读 · 0 评论 -
【Python】记录numpy.empty()函数引发的问题
问题最近用深度学习训练一个分类模型,在划分训练集和测试集时遇到一个问题。意思是list的索引必须是整形,不能是float型。经排查发现,存储标签的list是使用np.empty()函数创建的,这个函数可以创建指定shape的list,但是创建的并非是一个空的多维数组,如 np.empty((3,3)),默认为numpy.float64型,而实际标签值为整形。实际返回结果为:print(n...原创 2020-04-28 21:45:45 · 1789 阅读 · 0 评论 -
【Python】matplotlib图例放在外侧保存时显示不完整问题解决
上次说到的,使用如下代码保存矢量图时,放在外侧的图例往往显示不完整:import numpy as npimport matplotlib.pyplot as pltfig, ax = plt...转载 2020-04-19 14:51:15 · 1963 阅读 · 0 评论