- 博客(17)
- 收藏
- 关注
RSS订阅
原创 google云端硬盘转存onedrive（支持超大文件）
网上有一些文件转存方法，比如google云端硬盘转存onedrive秘籍和如何将 Google Drive 的档案移转到 OneDrive前一个可以转存小文件（1G以下），后者之前好像可以，现在找不到入口了。现在要想转移大文件，应该怎么办呢？Google现在提供了一种远程计算服务Colab，本质是一个linux系统的虚拟机，接下来我们就用它将大文件传过去。打开colab网址：https://colab.research.google.com可以参考一些教程啊，这些都不是我写的：https://w
2021-04-27 16:30:04
5258
4
原创 KeyError: ‘state_dict‘
使用 torch.nn.DataParallel 训练和保存的模型，其 key 中多了’module’，在加载到单GPU或CPU环境中，会报错找不到key，需要将它去掉。
2022-08-20 17:52:28
6090
4
原创 使用pytorch中的resnet预训练模型进行特征提取，以及查找相似图像
想通过缩略图找原图？之前p过的图像想找原图？汇报时使用压缩过的图像现在想找原图？如何从大量图像文件中快速找到与目标图像相似的那个？pytorch 只需要几行代码就可以搞定。
2022-07-27 18:40:47
7739
1
原创 linux CPU降频脚本
ubuntu CPU 降频脚本，cpufreq-set 无法一键给所有核心降频，本文使用循环给出解决方案。或使用一行命令 sudo awk 'BEGIN{ for (i=0;i
2022-06-14 10:03:17
882
原创 pytorch 循环生成网络结构
由于网络通常非常深，我们一层一层写会耗费很大的精力。而且修改起来也比较麻烦，不方便维护。网络通常由一些相似的块组成，我们写出一个块，循环生成整个网络。nn.Sequentialdef __init__(self, num_layers=1, activation=torch.nn.ReLU()): super(Classifier3, self).__init__() self.num_layers = num_layers self.dense1 = torch.nn.Sequ
2021-07-21 19:27:06
730
原创 pytorch 模型保存与加载
模型保存torch.save(model, os.path.join(checkpoint_dir, f'model_{epoch}.pth'))模型加载checkpoint = torch.load(checkpoint_file)model=checkpoint.to(device)只加载变量：checkpoint = torch.load(lists[epoch])model.load_state_dict(checkpoint.state_dict())当模型训练使用的显卡编号
2021-07-21 18:48:00
264
原创 在任意向量的正交空间中采样
有时候我们需要在特定的空间中采样，观察样本的性质。现有一组DDD维空间中的向量x1,x2,⋯xNx^1, x^2, \cdots x^Nx1,x2,⋯xN，其中xn=(x1n,x2n,⋯ ,xDn)x^n = (x^n_1,x^n_2,\cdots,x^n_D)xn=(x1n,x2n,⋯,xDn)，(D>ND>ND>N)，采样sss，使得sss与所有xnx^nxn正交。我们要找xnx^nxn空间的一组基底，用特征值分解就好。X=UΣV⊤X=U\Sigma V^\topX=UΣV⊤
2021-05-10 17:42:34
230
原创 python n维向量向任意方向旋转，求旋转矩阵
计算向量X=(x1,x2,⋯ ,xn)X=(x_1,x_2,\cdots,x_n)X=(x1,x2,⋯,xn)绕V=(v1,v2,⋯ ,vn)V=(v_1,v_2,\cdots,v_n)V=(v1,v2,⋯,vn)顺时针旋转θ\thetaθ后得到的向量X′X'X′任意的旋转都可以看作绕着一个轴，在某个平面上的旋转。不失一般性，假定向量V=(v1,v2,⋯ ,vn)V=(v_1,v_2,\cdots,v_n)V=(v1,v2,⋯,vn)在v1×v2v_1\times v_2v1×v2
2021-05-09 09:39:23
4015
3
原创 GPU显存实时监测+显存空余时邮件提醒
人可以闲着，但机器不可以【狗头保命】。查询当前可用GPU的可用空闲内存并在显存空余时发邮件提醒参考博文：Pytorch：实现查询当前可用GPU的可用空闲内存并按照内存从大到小顺序打印出来保存如下代码到’gpu_status.py’import numpy as npimport osfrom email.mime.text import MIMETextfrom email.mime.image import MIMEImagefrom email.mime.base import MIME
2021-04-03 20:10:34
923
原创 linux中jpg与png相互转化
数据预处理的时候遇到文件格式的问题，有两种方法：1.命令行安装parallel和convert：$ sudo yum install parallel$ sudo yum install ImageMagick（1）png转jpg$ parallel convert '{}' '{.}.jpg' ::: *.png（2）jpg装png$ parallel convert '{}' '{.}.png' ::: *.jpg2. python文件convert.py内.
2021-03-29 15:59:45
1108
原创 python 文件操作工具
python 文件复制工具```import osimport argparsefrom shutil import copyfileparser = argparse.ArgumentParser(description='convert')parser.add_argument('--srcpath', default='/mnt/vol/kuang/PCGAN/output/generated_images/', help='Source d...
2021-03-29 15:38:24
156
2
原创 利用IPV6免费服务器实现远程办公(EUserv)
又到了开学季，学弟学妹们又开始为校园网流量犯愁了。一个月30G的流量不够用怎么办呢？鉴于校园网IPV6不记流量，我尝试了多种方法通过IPV6代理进行免流，其中包括：最终发现一个可行的方案。EUserv 是一家德国主机商，提供专用服务器托管，虚拟专用服务器，云服务，网站托管和域注册服务，发现了永久免费的IPv6 VPS德国节点分享给大家！申请VPSEUserv: 1. 首页; 2. 免费服务器申请地址.点击【Order】然后会弹出订购框在点击一下【Order】，然后在购物车结账。等待1小时左右，
2021-01-23 18:03:39
5325
4
转载 QQ、微信消息定时发送/自动发送【支持发送文件】
转载自https://github.com/AlanIIE/auto-send-message
2020-10-19 19:30:27
3488
原创 pytorch减少显存使用
transpose占用大量显存通常transpose(),permute()会改变tensor的结构，需要使用.contiguous()将内存转换为连续的。估计pytorch为了加快计算速度，使用了占用大量显存的运算方式，开辟出新的显并进行赋值。对这些函数进行修改可以减少大量显存：将tensor分为多个batch，分别进行transposeb,c,h,w = out.shape# transpose dimension (1,2): bxcxhxw -> bxhxcxw. batchsize=
2020-07-29 11:27:52
1258
原创 Centos Shell 命令行安装 MATLAB R2019b
Centos 命令行安装 MATLAB0. 可能需要的库：1. 挂载2. 命令行安装2.1 以R2017b为例：2.2 R2019b3. 更换光盘(如有多张光盘)4. 命令行运行matlab5. 注意事项0. 可能需要的库：libxt6 sudo yum install libXtjdk sudo yum install jdk1. 挂载sudo mkdir /mnt/matlabsudo mount -o loop R2017b_glnxa64_dvd1.iso /mnt/ma
2020-07-25 10:37:18
730
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人