- 博客(60)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 Pytorch-Lightning在模型训练时记录中间值报错RuntimeError：CUDA out of memory
在训练model的时候，Pytorch-Lightning通过定义System（以model作为输入）和Trainer的方式实现模型训练。一、定义（1）首先定义System：res_from_recursion = []system = System( model=model,#在system之前定义的 loss_func=loss_func, optimizer=optimizer, train_loader=train_loader
2022-03-31 08:47:13
1806
原创 Pycharm-SSH连接服务器
一、 将待部署的/PRJ_NAME，分别上传：远程服务器：/data/userxxx/projects/PRJ_NAME本地服务器：/home/Dataset/test/PycharmProjects/pythonProject1/PRJ_NAME二、 将项目部署到远程服务器1、建立SSH连接（1）Tools-Deployment-Configuration（2）点击左上角的+，选择SFTP，命名（3）SSH Configuration-Connection：输入远程服务器的地址、用户密码；
2022-01-29 10:10:02
2976
原创 图像检索（reID）结果可视化
输出topk图像及其label：# searching_path = a list of searching resultsfor i in range(topk): cur_searching = cv2.imread(searching_path[i]) if i is 0: res = cv2.imread(query_path) res = np.stack((res, cur_searching))此时可以得到下图，队列第一是query，后面依次是t
2022-01-07 15:37:30
2775
转载 火狐浏览器不能上网
只有火狐浏览器不能上网用windows edge可以正常上网。尝试了一些方案，例如关闭火狐的网络代理、排障模式、重新安装等依然不能上网。解决方案这种情况重置下Winsock。方法：单击“开始”，找到 Windows PowerShell，右键管理员模式打开；然后输入命令 netsh winsock reset，回车然后重启计算机。...
2021-12-14 09:01:24
2754
3
转载 LoweringError: Failed in nopython mode pipeline (step: nopython mode backend)
问题import umap的时候遇到这个报错，在import这一行报错。解决原始版本：umap-learn=0.5.1numba=0.54.0重新安装低版本的numbapip install numba==0.51.0
2021-09-23 16:21:06
2102
1
转载 Jupyter Notebook报错： error: unrecognized arguments: -f
错误描述在本地是这样写的：args = parser.parse_args()上传到Jupyter Notebook后，错误信息为：main.py: error: unrecognized arguments: -f /home/ec2-user/.local/share/jupyter/runtime/kernel-fd53c949-7a00-4de7-9f82-b41f6227c86f.jsonAn exception has occurred, use %tb to see the ful
2021-09-13 11:07:09
2901
2
原创 pytorch自定义dataset：name ‘Optional‘ is not defined
错误描述pytorch在自定义dataset CELEBA类的时候，用到了以下表达：class CELEBA(DatasetFolder): def __init__( self, root: str, transform: Optional[Callable] = None, target_transform: Optional[Callable] = None, load
2021-09-13 10:55:13
3557
原创 图片数据集预处理-按label分别放入文件夹
数据集Fashion Product Images (Small)44000 products with category labels and images.目标：所有图片存在images文件夹下，styles.csv为对应的属性，根据articleType属性，将数据分为142类，并分别存在对应的/test(train)/label/文件夹下。-> 图片的名称 (1597.jpg)-> 通过名称在csv中找到对应的class_name (‘Shirts’)-> 再根据自己建
2021-08-31 13:28:32
896
原创 无Internet访问权限-已解决
解决步骤因为昨天还能正常上网，因此排除硬件问题，只检查了网线连接，正常。尝试重新接了网线，提示IP冲突。手动修改本机IP地址：（可能我的网络环境不支持路由器自动设置ip，所以才出现冲突吧）...
2021-07-12 09:46:09
1168
原创 windows远程连接linux服务器下创建及删除用户方法
创建新用户Step1:登录root账户，打开terminal（以创建NEWUSER为例，并设置NEWUSER的主目录为/home/Dataset/NEWUSER）Step2:sudo useradd -d /home/Dataset/NEWUSER NEWUSERsudo passwd NEWUSER（输入两遍密码）Step3:在terminal，进入设置的主目录路径/home/Dataset，ls显示当前目录内文件。此时发现不存在NEWUSER文件夹。Step4:打开windows的
2021-07-09 10:19:58
432
原创 pytorch存储/加载模型及多GPUs条件下的注意事项
一、存储/加载模型可以选择保存整体model网络结构和参数PATH = 'saved_model.pth'# 保存整个model：torch.save(model_0, PATH)# 加载整个model：model_1 = torch.load(PATH)or只保存model参数PATH = 'saved_model.pth'# 由于只加载参数，因此需要提前定义网络结构，例如：class Net(nn.Module):...# 只保存参数:torch.save(model_0.s
2021-07-08 10:34:34
198
原创 pytorch-resnet提取特征
1、利用resnet提取特征根据ResNet的网络结构，fc充当分类器的角色，那么特征就是fc前一层的输出（fc层的输入）作为分类器，fc的输入是512（这个由Resnet的层数决定，resnet18=512，resnet50=2048），fc的输出为nb-classes（由数据集决定）：输出特征，就把输出也改为512，那么输出的就是大小为[batch-size, 512]的特征。for i, (images, target) in enumberate(train_loader): # ……
2021-07-01 11:31:55
9683
4
原创 Pytorch用dataloader自定义数据训练模型
总结Dataset可以遍历数据集，每次输出一组（feature，label）。dataloader相当于是dataset的接口，顺便可以Dataset做一些调整，比如shuffle、batchsize……因此，自定义dalaloader的关键是定义Dataset！一. 用到的库import numpy as npimport torchimport torch.nn as nnimport torch.nn.functional as Fimport torch.optim as optim
2021-05-25 12:20:35
694
原创 linux配置pytorch环境（conda）
一、检查服务器环境//1. 查看系统版本：uname -a//2. 查看cuda版本：cat /usr/local/cuda/version.txt//3. 查看conda版本：conda -V我的环境：OS：Ubuntu 16.04CUDA：10.2.89conda：4.5.11二、conda常用指令//1. 查看所有虚拟环境列表：conda env list//2. 激活某个虚拟环境：source activate env_test1(环境名)//3. 查看当前虚拟环境
2021-05-21 13:21:49
1496
原创 windows下ssh连接远程服务器
问题一直以来都是用windows自带的远程桌面连接连接远程服务器的，但今天突然发现登录后服务器呈死机状态。解决步骤一开始是想用ssh root@服务器ip地址 来连接的，参考了网上很多教程，但一直显示permission denied，无法解决。因此安装了PuTTY。1、安装PuTTYhttps://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html单击MSI (‘Windows Installer’)目录下的这个链接：64-bit x8
2021-05-06 12:46:59
1053
1
转载 LATEX图片（子图）排版
\usepackage{graphicx} %插入图片的宏包\usepackage{float} %设置图片浮动位置的宏包\usepackage{subfigure} %插入多图时用子图显示的宏包 \begin{figure}[H] %这里使用的是强制位置，除非真的放不下，不然就是写在哪里图就放在哪里，不会乱动 \centering %图片全局居中 <font face="STCAIYUN">我是华文彩云</font> %设置与上面正文的距离 \vspace{
2021-02-08 10:28:19
43376
4
原创 利用Matplotlib绘制论文图片
1、图像属性选择1、画布大小，线型，字号（latex双栏）fig = plt.figure(figsize=(8,6))#figsize 可以调整画框大小linewidth1=1.5fontsize1=22plt.plot(xnew, ynew, color='#F47D30', linewidth=linewidth1, linestyle='-')2、颜色找到好看的RGB配色后，可以用RGB颜色值与十六进制颜色码转换工具转换https://www.sioe.cn/yingyong/yan
2021-02-08 10:11:35
515
原创 ACM期刊LaTex模板使用
1、下载LaTex模板下载网址：https://www.acm.org/publications/taps/latex-best-practices下载的文件夹里含有多个sample，一般就是acmsmall：All journals use acmsmall with the following exceptions:o acmlarge - Large single column format, used for JOCCH, TAPo acmtog - Large double c
2021-01-28 10:33:06
9681
2
转载 LaTex算法排版
一、算法需要包含的宏包：\usepackage[noend]{algpseudocode}\usepackage{algorithmicx,algorithm}示例：\begin{algorithm}[t]\caption{algorithm caption} %算法的名字\hspace*{0.02in} {\bf Input:} %算法的输入， \hspace*{0.02in}用来控制位置，同时利用 \\ 进行换行input parameters A, B, C\\\hspace*{0
2021-01-20 16:58:53
2066
原创 MATLAB将LIBSVM数据集转存为mat
一、输入输入数据为：label 1：特征1 2：特征2 ……，这样的格式。没写的特征值就是0。二、逐行读取txt，存为mat文件clc;clear;fid=fopen('./data/skin_nonskin.txt','r');tline = fgetl(fid);nb_of_row = 1;while ischar(tline)disp(tline)split_char = strsplit(tline);nb_of_feature = length(split_char);l
2020-11-05 11:05:52
1340
1
转载 MATLAB矩阵归一化
一、单位化矩阵输出矩阵Y为单位化矩阵；方法即是矩阵中所有元素除以该元素所在列向量的二范数clc;clear;X=[790 3977 849 1294 1927 1105 204 1329 768 5037 1135 1330 1925 1459 275 1487 942 2793 820 814 1617 942 155 976 916 2798 901 932 1599 910 182 1135 1006 2864 1052 1005 1618 839 196
2020-11-04 10:56:34
32011
2
原创 Icom IC-9700 with RS-BA1 remote control软件安装和使用
简介Server PC通过USB线，直接连接电台，实现在PC上对电台的控制。一、安装软件STEP1：双击RS-BA1 Ver2安装光盘中的Setup.exe，按步骤安装（Ver1不支持IC-9xxx系列）；STEP2：在Server PC安装相应的升级软件（低版本不支持IC-9700）。安装完毕后会出现两个快捷方式：Remote Utility和RS-BA1 remote control；STEP3：用type B USB连接线，连接电台与Server PC；二、电台配置STEP1：电台连接
2020-10-27 09:42:50
2961
原创 Python plotly画图
一、读取csvimport numpy as np # linear algebraimport pandas as pdheart_data = pd.read_csv('kaggle/framingham_heart_disease.csv')二、plotly用于动态绘图1、画直方图参与调查的人群的年龄分布import matplotlib.pyplot as pltimport plotly.figure_factory as ffhist_data = [heart_da
2020-10-13 13:44:04
543
原创 Python Pandas数据分析
数据集：Logistic Regression - Heart Disease PredictionPrediction of Coronary Heart Disease一、Pandas进行数据处理1、读取csvimport numpy as np # linear algebraimport pandas as pdheart_data = pd.read_csv('kaggle/framingham_heart_disease.csv')2、预览数据# 默认显示从头开始的5行数据
2020-10-12 17:30:58
280
原创 Matlab调用/关闭外部bat
一、调用bat1、直到程序结束再继续运行M文件：[status,cmdout]=dos('start_record.bat');2、单独开一个窗口去执行批处理，同时继续执行M文件的后续部分：[status,cmdout]=dos('start_record.bat &');二、关闭batdos('taskkill /f /im cmd.exe /t');...
2020-10-10 15:56:30
3849
1
原创 MATLAB-读取/写入Excel
一、 写入，xlswritexlswrite(filename,A)xlswrite(filename,A,sheet)xlswrite(filename,A,xlRange)xlswrite(filename,A,sheet,xlRange)1、写入string‘B2’：从B2单元格作为起点存放；xlswrite(['test.xlsx'], ['12'], 1,'B2'); 2、写入元胞数组xlswrite(['test.xlsx'], {'12', '33'}, 1,'B2'
2020-09-28 13:43:26
686
原创 MATLAB-GUIDE简单示例
一、创建GUIDE AppSTEP1：点击【主页】-【新建】-【APP】-【GUIDE】，选择Blank GUISTEP2：Blank GUI的.m文件包含三个默认函数：1、initialization code - DO NOT EDIT：function varargout = untitled(varargin)2、Executes just before untitled is made visible：GUI能自动执行的代码只有这里，剩下的codes都要触发（e.g. 按下按钮、选
2020-09-27 14:04:16
2424
原创 用Matlab调用C++编译的可执行exe（带参数）
Matlab调用exe，m文件怎么写？1、不需要输入参数dos('xxxx.exe');2、带常数参数e.g. 3个参数按顺序分别为：6# 1000 40dos('xxxx.exe 6# 1000 40');3、带变量参数for i = 1 : 3 //注意40 '这里有一个空格，不能连在一起 dos(['xxxx.exe 6# 1000 40 ', num2str(i)]);end被Matlab调用的C++文件怎么写？int _tmain(int argc, _TCHAR*
2020-09-22 17:27:19
1263
原创 Hierarchical Convolutional Features for Visual Tracking学习记录
Error using loadCannot read file /usr/local/MATLAB/R2018a/bin/HCF2-master/model/imagenet-vgg-verydeep-19.mat.
2020-09-01 17:01:15
359
原创 VMware+Ubuntu16.04安装Matlab2018a
安装环境 - 本机系统：Windows 7 - 虚拟机：VMware 15 - Linux系统：Ubuntu 16.04 (64bit) - Matlab：MatlabR2018a_Linux
2020-08-31 15:08:43
900
转载 Matlab错误使用 matlab.ui.Figure/set 您无法设置 Figure 的只读属性 ‘Number‘
报错详情Kernelized Correlation FiltersJoão F. Henriques, Rui Caseiro, Pedro Martins, Jorge BatistaECCV 2012, TPAMI 2015作者主页在运行作者提供的代码时，出现了报错：错误使用 matlab.ui.Figure/set您无法设置 Figure 的只读属性 ‘Number’。2.解决方案：将show_video.m中24行： ‘Number’ 替换成 ‘UserData’ 即可。%c
2020-08-28 13:11:17
4776
4
原创 NVIDIA Jetson TX1刷机，Ubuntu16.04+Jetpack3.0
注意事项Jetpack3.1只支持ubuntu14.04和ubuntu16.04操作系统，而且系统语言必须是英文。全程必须保持网络通畅。官方回答说3.2版本可以支持大陆，但是我尝试了Jetpack3.2.1，也不能连接到服务器。不知道4.4是否可行。用虚拟机的小伙伴要额外研究一下网络设置。我没有用虚拟机，我安装了win10和ubuntu16.04双系统。...
2020-08-19 13:07:33
1624
原创 双系统，开机自动进入win，没有引导界面解决
神州网信OS不支持安装双系统我尝试在zf版电脑上安装了ubuntu，结果开机自动进入windows，无引导界面。尝试利用系统u盘启动，选择：Try ubuntu without install；并在ubuntu下，利用boot-repair修复引导；但是提示：The boot of your PC is in Secure mode，无法修改。boot-repair修复引导保证系统联网；输入以下命令：sodu passwdsudo apt-get install software-pr
2020-08-19 09:54:28
3541
转载 win10修改注册表后重启黑屏，只看到鼠标的还原方法
win10启动后直接进入指定程序（不显示桌面）参考还原方法修改注册表后重启，黑屏，只看到鼠标。此时需要打开任务管理器，文件标签下，运行新任务。然后输入regedit，找到之前修改的地方：HKEY_LOCAL_MACHINE\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Winlogon： Shell改回explorer.exe就可以了。...
2020-08-17 09:37:41
4868
2
原创 win10下实现PyAudio持续监听并录音（麦克风/扬声器）
Pyaudio默认是通过麦克风录音，扬声器播放。实现在win10下，录制扬声器的声音需要设置默认音频设备（否则要修改pyaudio的代码）pyaudio对象结构如下： def __init__(self, PA_manager, rate, channels, format, input=False,
2020-08-14 17:57:42
8348
10
原创 MATLAB数据写入excel并添加表头
#data是一个n*1的矩阵A = [{'header'}; num2cell(data)];xlswrite('test', A);
2020-07-22 14:01:46
17682
4
原创 Ubuntu18.04下NVIDIA驱动+CUDA11.0安装
准备工作电脑GPU型号、Ubuntu版本、NVIDIA驱动版本、CUDA版本。这四个需要相互匹配，具体见官网。我的配置是：显卡：GT 710Ubuntu : 18.04NVIDIA驱动：NVIDIA-Linux-x86_64-450.57.runCUDA：cuda_10.2.89_440.33.01_linux.run在Nvidia官网查找驱动，并下载。如果安装时候显示错误：error in check sums，就找一个较低版本的安装。在NVidia官网下载CUDA11.0安装NV
2020-07-18 13:54:21
17794
1
原创 Ubuntu18.04下Qt5.12.9+OpenCV4.4.0环境搭建
安装OpenCV4.3.0见上一篇博文。安装Qt5.12.9step1：下载下载release文件：http://download.qt.io/archive/qt/5.12/5.12.9/太新的版本没有*.run文件step2：安装sudo chmod +x qt-opensource-linux-x64-5.12.9.runsudo ./qt-opensource-linux-x64-5.12.9.runstep3：配置sudo gedit /etc/bash.bashrc打开后
2020-07-15 17:14:15
1448
2
brew_install.rb
2020-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人