- 博客(18)
- 收藏
- 关注
原创 google云端硬盘转存onedrive(支持超大文件)
网上有一些文件转存方法,比如google云端硬盘转存onedrive秘籍和如何将 Google Drive 的档案移转到 OneDrive前一个可以转存小文件(1G以下),后者之前好像可以,现在找不到入口了。现在要想转移大文件,应该怎么办呢?Google现在提供了一种远程计算服务Colab,本质是一个linux系统的虚拟机,接下来我们就用它将大文件传过去。打开colab网址:https://colab.research.google.com可以参考一些教程啊,这些都不是我写的:https://w
2021-04-27 16:30:04 5382 4
原创 多变量时间序列异常检测
异常检测常用于发现大量分布相似数据中的不常见样本。在工业界得到广泛应用,例如社交网络中的欺诈检测、视频中的异常行为检测、互联网中的异常流量检测等。随着生成式模型的逐渐成熟,目前基于生成式模型的异常检测方法在各种应用中取得了较好的效果。这些方法都基于这样的假设:相比于异常样本,正常的样本可以很容易地由生成模型重建得到。因此我们可以构建一个自编码器(AutoEncoder, AE)通过度量重建误差来衡量样本是否是异常样本。
2024-07-05 22:49:40 458 1
原创 KeyError: ‘state_dict‘
使用 torch.nn.DataParallel 训练和保存的模型,其 key 中多了’module’,在加载到单GPU或CPU环境中,会报错找不到key,需要将它去掉。
2022-08-20 17:52:28 6341 4
原创 使用pytorch中的resnet预训练模型进行特征提取,以及查找相似图像
想通过缩略图找原图?之前p过的图像想找原图?汇报时使用压缩过的图像现在想找原图?如何从大量图像文件中快速找到与目标图像相似的那个?pytorch 只需要几行代码就可以搞定。
2022-07-27 18:40:47 8118 1
原创 linux CPU降频脚本
ubuntu CPU 降频脚本,cpufreq-set 无法一键给所有核心降频,本文使用循环给出解决方案。或使用一行命令 sudo awk 'BEGIN{ for (i=0;i
2022-06-14 10:03:17 916
原创 pytorch 循环生成网络结构
由于网络通常非常深,我们一层一层写会耗费很大的精力。而且修改起来也比较麻烦,不方便维护。网络通常由一些相似的块组成,我们写出一个块,循环生成整个网络。nn.Sequentialdef __init__(self, num_layers=1, activation=torch.nn.ReLU()): super(Classifier3, self).__init__() self.num_layers = num_layers self.dense1 = torch.nn.Sequ
2021-07-21 19:27:06 751
原创 pytorch 模型保存与加载
模型保存torch.save(model, os.path.join(checkpoint_dir, f'model_{epoch}.pth'))模型加载checkpoint = torch.load(checkpoint_file)model=checkpoint.to(device)只加载变量:checkpoint = torch.load(lists[epoch])model.load_state_dict(checkpoint.state_dict())当模型训练使用的显卡编号
2021-07-21 18:48:00 277
原创 在任意向量的正交空间中采样
有时候我们需要在特定的空间中采样,观察样本的性质。现有一组DDD维空间中的向量x1,x2,⋯xNx^1, x^2, \cdots x^Nx1,x2,⋯xN,其中xn=(x1n,x2n,⋯ ,xDn)x^n = (x^n_1,x^n_2,\cdots,x^n_D)xn=(x1n,x2n,⋯,xDn),(D>ND>ND>N),采样sss,使得sss与所有xnx^nxn正交。我们要找xnx^nxn空间的一组基底,用特征值分解就好。X=UΣV⊤X=U\Sigma V^\topX=UΣV⊤
2021-05-10 17:42:34 246
原创 python n维向量向任意方向旋转,求旋转矩阵
计算向量X=(x1,x2,⋯ ,xn)X=(x_1,x_2,\cdots,x_n)X=(x1,x2,⋯,xn)绕V=(v1,v2,⋯ ,vn)V=(v_1,v_2,\cdots,v_n)V=(v1,v2,⋯,vn)顺时针旋转θ\thetaθ后得到的向量X′X'X′任意的旋转都可以看作绕着一个轴,在某个平面上的旋转。不失一般性,假定向量V=(v1,v2,⋯ ,vn)V=(v_1,v_2,\cdots,v_n)V=(v1,v2,⋯,vn)在v1×v2v_1\times v_2v1×v2
2021-05-09 09:39:23 4186 3
原创 GPU显存实时监测+显存空余时邮件提醒
人可以闲着,但机器不可以【狗头保命】。查询当前可用GPU的可用空闲内存并在显存空余时发邮件提醒参考博文:Pytorch:实现查询当前可用GPU的可用空闲内存并按照内存从大到小顺序打印出来保存如下代码到’gpu_status.py’import numpy as npimport osfrom email.mime.text import MIMETextfrom email.mime.image import MIMEImagefrom email.mime.base import MIME
2021-04-03 20:10:34 953
原创 linux中jpg与png相互转化
数据预处理的时候遇到文件格式的问题,有两种方法:1.命令行安装parallel和convert:$ sudo yum install parallel$ sudo yum install ImageMagick(1)png转jpg$ parallel convert '{}' '{.}.jpg' ::: *.png(2)jpg装png$ parallel convert '{}' '{.}.png' ::: *.jpg2. python文件convert.py内.
2021-03-29 15:59:45 1119
原创 python 文件操作工具
python 文件复制工具```import osimport argparsefrom shutil import copyfileparser = argparse.ArgumentParser(description='convert')parser.add_argument('--srcpath', default='/mnt/vol/kuang/PCGAN/output/generated_images/', help='Source d...
2021-03-29 15:38:24 163 2
原创 利用IPV6免费服务器实现远程办公(EUserv)
又到了开学季,学弟学妹们又开始为校园网流量犯愁了。一个月30G的流量不够用怎么办呢?鉴于校园网IPV6不记流量,我尝试了多种方法通过IPV6代理进行免流,其中包括:最终发现一个可行的方案。EUserv 是一家德国主机商,提供专用服务器托管,虚拟专用服务器,云服务,网站托管和域注册服务,发现了永久免费的IPv6 VPS德国节点分享给大家!申请VPSEUserv: 1. 首页; 2. 免费服务器申请地址.点击【Order】然后会弹出订购框在点击一下【Order】,然后在购物车结账。等待1小时左右,
2021-01-23 18:03:39 5384 4
转载 QQ、微信消息定时发送/自动发送【支持发送文件】
转载自https://github.com/AlanIIE/auto-send-message
2020-10-19 19:30:27 3613
原创 pytorch减少显存使用
transpose占用大量显存通常transpose(),permute()会改变tensor的结构,需要使用.contiguous()将内存转换为连续的。估计pytorch为了加快计算速度,使用了占用大量显存的运算方式,开辟出新的显并进行赋值。对这些函数进行修改可以减少大量显存:将tensor分为多个batch,分别进行transposeb,c,h,w = out.shape# transpose dimension (1,2): bxcxhxw -> bxhxcxw. batchsize=
2020-07-29 11:27:52 1288
原创 Centos Shell 命令行安装 MATLAB R2019b
Centos 命令行安装 MATLAB0. 可能需要的库:1. 挂载2. 命令行安装2.1 以R2017b为例:2.2 R2019b3. 更换光盘(如有多张光盘)4. 命令行运行matlab5. 注意事项0. 可能需要的库:libxt6 sudo yum install libXtjdk sudo yum install jdk1. 挂载sudo mkdir /mnt/matlabsudo mount -o loop R2017b_glnxa64_dvd1.iso /mnt/ma
2020-07-25 10:37:18 749
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人