代码相关
是尘埃呀!
这个作者很懒,什么都没留下…
展开
-
解决方式之一Caught AttributeError in replica 0 on device 0.
解决Caught AttributeError in replica 0 on device 0.原创 2022-08-27 14:50:20 · 1925 阅读 · 1 评论 -
NVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver.内核版本不匹配
一nvidia-smiNVIDIA-SMI has failed because it couldn’t communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.step1:sudo apt-get install dkmsstep2: sudo dkms install -m nvidia -v 440.44再次输入nvidia-smi时,你熟悉的界面原创 2022-05-16 00:25:33 · 610 阅读 · 0 评论 -
python图像均匀加雾
注意输出的和保存的结果不一样,imshow的可能是全白也可能是全黑,但是imwrite可能是正常的。相反也是import cv2, mathimport numpy as npdef AddHaze1(img): # img_f = img # 保存文件用这行 img_f = img / 255.0 # 对原博主的代码进行了更改,这是显示时的样子 (row, col, chs) = img.shape A = 0.6 # 亮度 be原创 2022-02-27 19:35:49 · 4285 阅读 · 3 评论 -
python打乱字典键对应的值
注意字典和列表的转换参考连接1参考连接2import randompath = 'train_test_ans2label.pkl' # path='/root/……/aus_openface.pkl' pkl文件所在路径f = open(path, 'rb')data = pickle.load(f)print(data)print('----------------------------------------------------------')k = data.ke原创 2021-09-15 20:39:21 · 323 阅读 · 0 评论 -
pytorch与以安装的cuda版本非必须
pytorch需要 与cuda和python版本匹配,但是cuda11以后就没有python27的pytorch了想要继续使用只需要安装低版本cudatoolkit就行了原创 2021-09-14 03:31:43 · 1215 阅读 · 0 评论 -
已解决Fatal Python error: init_fs_encoding: failed to get the Python codec of the filesystem encoding
这个是因为环境变量出错了Python path configuration:PYTHONHOME = ‘/home/admin888/miniconda3/bin’PYTHONPATH = ‘KaTeX parse error: Double subscript at position 66: ….9.2-hffdb5ce_0_̲cpython/lib/pyt…PYTHONPATH’,‘/home/admin888/miniconda3/pkgs/python-3.9.2-hffdb5ce_0_cp原创 2021-09-14 02:56:27 · 23136 阅读 · 1 评论 -
StopIteration: Caught StopIteration in replica 0 on device 0.解决
原文来自连接不是第一次遇到了,但是遇到了真不会改,我只用下面两步就好了1.torch报错:StopIteration: Caught StopIteration in replica 0 on device 0.原因:多GPU运行此项目报错,可能是torch版本错误。修改:按照别的博客将 weight = next(self.parameters()).data改为weight = torch.float322.仍报错:AttributeError: ‘torch.dtype’ no attrib转载 2021-09-14 02:12:09 · 3193 阅读 · 1 评论 -
如何快速在两个服务器之间传送大文件
通常连接服务器的方法是使用xftp等软件进行连接,并传送文件。但是,在本地使用xftp连接,需要经过自己的电脑网络转换,速度只有几M,传输大文件非常慢。使用以下命令,直接使用命令,让服务器a直接传输文件给目标服务器b,速度可达百兆。此行代码在服务器a运行scp -r /home/apaper2/data/coco admin10101@000.000.00.00:/home/datascp -r 要传输的文件位置 目标服务器用户名@目标服务器域名:目标服务器位置注意看右下角传输速度...原创 2021-09-08 11:23:02 · 5814 阅读 · 0 评论 -
多个json对象的json文件比较,并打印区别。
为了分析两个数据集预测值的差别,需要打印具有多个json对象的差别。两个json文件内容大致如下图所示:两个jison文件的question_id一样,每个id对应的answer可能不同。具体实现代码:import json as jsimport difflibimport sysf = open('data/css+v.json', encoding='UTF-8')m = open('data/css.json', encoding='UTF-8')x = js.load(f)原创 2021-05-10 10:10:29 · 539 阅读 · 0 评论 -
pytorch错误记录(陆续更新)
pytorch代码的错误和trick原创 2021-03-18 21:25:28 · 299 阅读 · 0 评论 -
余弦相似度和p范数
参考连接:https://zhuanlan.zhihu.com/p/97807923余弦相似度torch.nn.CosineSimilarity(dim=1, eps=1e-08)CosineSimilarity参数dim - 要计算余弦相似性的维度,默认为1eps - 避免除零的最小值。默认为1e-8形状输入x1:(*1, D, *2),其中D位于dim位置上输入x2:(*1, D, *2),和输入1的形状一致输出:(*1, *2)torch.nn.PairwiseDistance转载 2021-03-11 21:26:20 · 338 阅读 · 0 评论 -
多个gpu训练方法以及为何运行程序只gpu0运行(CUDA out of memory. Tried to allocate)
一,多个gpu训练方法如果gpu还不错,不要改batchsize一,这种方法偶尔有用,但是如果在别的地方使用了别的方法指定gpu,还是会只使用gpu0import osos.environ['CUDA_VISIBLE_DEVICES'] = '1,2'二,这种效果最弱CUDA_VISIBLE_DEVICES=1,2 python train.py三,最好用的、绝对不会出错的device,缺点是只能指定一个,或者说用这种方法我不会指定多个gpu二,为什么设置了在多个gpu运行,但是只有g原创 2021-03-03 17:00:02 · 7387 阅读 · 3 评论 -
一个代码记录
代码来自CSS文章代码def evaluate(model, dataloader, qid2type): score = 0 upper_bound = 0 score_yesno = 0 score_number = 0 score_other = 0 total_yesno = 0 total_number = 0 total_other = 0 for v, q, a, b, qids, _ in tqdm(dataloa原创 2021-03-02 14:37:40 · 136 阅读 · 0 评论 -
本地网络断开,服务器继续执行命令(nohup)
windows网络断开,让远程linu服务器程序继续执行的命令nohup 你的命令 > myout.file 2>&1 &1,2不要省略,还错就是你的命令错误了2,如果出现错误:nohup: 忽略输入并把输出追加到"nohup.out"或者nohup: 忽略输入重定向错误到标准输出端解决方式:还是上面那行命令不规范,空格也不能错哦。3,如果报其他错误,可能就是你的命令本身的错误了,比如多写了CUDA_VISIBLE_DEVICES=2也会错。这就可以了。...原创 2021-03-01 20:50:14 · 947 阅读 · 0 评论 -
tensorboardx可视画输出loss曲线用来分析过拟合,代码
安装tensorboardx安装步骤:pip install tensorboardXloss输出代码:下面的参考:连接#step1:倒入SummaryWriterfrom tensorboardX import SummaryWriterimport numpy as np#step:2初始化一个实例writerwriter = SummaryWriter('logs')#参数为指定存储路径for i in range(100): #step:3记录loss #当数据只原创 2021-03-01 15:13:17 · 2679 阅读 · 1 评论 -
矩阵相乘,@的作用
主要是在看代码时,这个@的作用记录一下numpy中点乘使用*或者np.multiply(),而叉乘使用@, np.dot(), np.matmul()pytorch 中涉及到矩阵之间的乘法(torch.mul, *, torch.mm, torch.matmul, @)原创 2020-12-30 19:16:34 · 300 阅读 · 0 评论 -
将1维numpy数组按对应位的数字扩展成2维的,多维扩展指定的一维度
像下面这样:代码:import numpy as np# a = np.arange(0, 6)a = np.array([1, 1, 1, 0, 1, 1])print(a)b = a.reshape(6,1)k = np.pad(b, pad_width=((0, 0), (2, 3)),mode='edge')print(b)print(k)我是按我的需求进行扩充的,当然numpy的扩充方法还有很多,给两个连接吧Numpy学习——数组填充np.pad()函数的应用[原创 2020-12-14 15:14:17 · 1504 阅读 · 0 评论 -
将科学计数法表示的数组(张量)转化为十进制表示,以输出.pth特征文件里面的空间特征为例
我想要查看.pth特征文件里面的内容,结果输出的数据都是科学计数法表示的,如下具体数字多大看不出来,加上下面一句:np.set_printoptions(formatter={'float_kind':'{:f}'.format})输出结果如下:代码import numpy as npimport torchimport sysimport osclass Logger(object): def __init__(self, filename="Default.log")原创 2020-12-09 18:22:14 · 694 阅读 · 0 评论 -
tensor长数据输出不完整,list,tensor,numpy类型互换的方法
之前讲了numpy和panda等类型的转换,这次讲tensortensor长数据输出不完整,可以将tensor转换成list,也可以将tensor转化成numpy等类型list,tensor,numpy类型互换的方法 参考1.1 list转numpyndarray = np.array(list)1.2 numpy 转 listlist = ndarray.tolist() 2.1 list 转 torch.Tensortensor=torch.Tensor(list)原创 2020-12-07 20:58:21 · 1029 阅读 · 0 评论 -
打开pkl文件
如何打开pkl文件import picklepath = 'data/dictionary_v1.pkl' # path='/root/……/aus_openface.pkl' pkl文件所在路径f = open(path, 'rb')data = pickle.load(f)print(data)原创 2020-12-07 17:22:24 · 2857 阅读 · 0 评论 -
npy,npz文件存储,转换,读取相关
参考连接:https://www.cnblogs.com/wj-1314/p/9722794.html#一,csv文件转化为npy格式下面有一个csv文件的数据,我想将其转化为npy格式,数据内容如下: 首先,数据是有索引,序列的,所以我们读取的时候要注意,转化代码如下import pandas as pdimport numpy as np file1 = 'Train_A_wear.csv'data1 = pd.read_csv(file1,header=0,index_col=原创 2020-12-07 17:03:53 · 2484 阅读 · 0 评论 -
python将想要打印的数据输出到txt文件中,打印省略号里面的内容
本来是想完整输出npy文件,pycharm中只输出部分npy文件,结果输出的文件也是部分数据,代码在后面(代码参考博客忘了,抱歉啊)后期又搜了如何完整输出的方法,写在后面了。import numpy as npimport sysimport osclass Logger(object): def __init__(self, filename="Default.log"): self.terminal = sys.stdout self.log原创 2020-12-07 16:45:21 · 2295 阅读 · 0 评论