自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(43)
  • 收藏
  • 关注

原创 list、numpy、tensor(pytorch)常用操作

numpy 2 tensort = torch.from_numpy(n)tensor 2 numpyn = t.numpy()

2020-07-20 11:56:35 2993 2

原创 git、git lfs常用操作

windows下用了几年的tortoisegit,linux下又用了几个月vscode的gui git,终于下定决心要学习命令行了导师建议:view用gui香一点(导师建议用tig,不过vscode也挺香的,之后有机会再学习tig),实际操作还是命令行保险以下命令部分参考师姐的blog整体流程初始化初始化仓库git init链接云端仓库git remote add origin https://xxxxxxxxxxxxxxxxx基本操作整体流程:working tree --(gi

2020-06-23 13:09:20 16503

原创 torch.autograd.set_detect_anomaly在mmdetection中的用法

torch.autograd.set_detect_anomaly

2023-01-31 13:41:21 626

原创 Linux 环境配置

配置免密登录链接安装软件 sudo apt-get update sudo apt-get install htop sudo apt-get install tmux配置tmux链接安装Anaconda链接

2021-11-29 11:16:16 461

原创 Anaconda使用

安装首先到清华大学开源镜像站找镜像,以Anaconda3-2021.11-Linux-x86_64.sh为例:wget https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/Anaconda3-2021.11-Linux-x86_64.shbash ./Anaconda3-2021.11-Linux-x86_64.sh换源vim ~/.condarcchannels: - https://mirrors.ustc.edu.cn/ana

2021-11-29 11:15:40 1216

原创 ssh/pytorch 常用命令/代码

# os.environ['CUDA_LAUNCH_BLOCKING'] = "1"# fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sh# ssh -L 8097:nico1:8097 jumper -p 2222# du -sh * | sort -n

2021-10-25 14:43:22 300

原创 vscode pylance取消语法高亮

老实说感觉这语法高亮有点花里胡哨五颜六色。。。settings里搜索semanticHighlighting,enabled改为false即可关闭效果:

2021-04-19 09:34:48 2494 1

原创 标准化,归一化,正则化

标准化(Standardization)和归一化(Normalization)标准化和归一化,请勿混为一谈,透彻理解数据变换L1-normaization就是每个元素/L1范数L2-normaization就是每个元素/L2范数正则化(Regularization)正则化完全不同,是为了防止过拟合在loss函数后面加了个正则项L1正则就是后面加个L1范数L2正则就是后面加个L2范数至于这俩的区别:右边L2正则会让参数尽可能非0即1,即稀疏性...

2021-02-28 14:28:28 216

原创 [量化]Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constraine

Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1已复现:https://github.com/onion-rain/MCTS:trainpython trainer_exp.py --gpu 1 --arch resnet14_binary --dataset cifar10 --valuate --binary..

2021-01-20 18:53:50 360

原创 [剪枝]To prune, or not to prune: exploring the efficacy of pruning for model compression

To prune, or not to prune: exploring the efficacy of pruning for model compression1 Introductiongiven a bound on the model’s memory footprint, how can we arrive at the most accurate model?作者对比了两种等价的模型:(1) large-sparse(2) small-dense2 Related work

2021-01-18 21:42:54 451

原创 [剪枝]Learning Effcient Convolutional Networks through Network Slimming

Learning Effcient Convolutional Networks through Network Slimming已复现:https://github.com/onion-rain/MCTS:python slimmer.py --arch vgg19_bn_cifar --gpu 4 --resume checkpoints/sparsity/cifar10_vgg19_bn_cifar_sr_best.pth.tar --slim 0.7首先train ...

2021-01-18 21:41:34 216

原创 [剪枝]Channel Pruning for Accelerating Very Deep Neural Networks

Channel Pruning for Accelerating Very Deep Neural Networks已复现:https://github.com/onion-rain/MCTS:python thinet_exp.py --arch vgg16_bn_cifar --gpu 5 --resume checkpoints/baseline/cifar10_vgg16_bn_cifar_best.pth.tar --prune-percent 0.3 --lp-norm ..

2021-01-18 21:40:42 250

原创 [剪枝]Pruning Filters for Efficient ConvNets

Pruning Filters for Efficient ConvNets已复现:https://github.com/onion-rain/MCTS:python filter_pruner_exp.py --arch vgg16_bn_cifar --gpu 5 --resume checkpoints/baseline/cifar10_vgg16_bn_cifar_best.pth.tar --prune-percent 0.3 --lp-norm 1剪枝权重绝对值...

2021-01-18 21:34:44 297

转载 github图片不显示问题

原文地址打开路径C:\Windows\System32\drivers\etc下的hosts文件# GitHub Start151.101.184.133 assets-cdn.github.com151.101.184.133 raw.githubusercontent.com151.101.184.133 gist.githubusercontent.com151.101.184.133 cloud.githubusercontent.com151.101.184.

2020-12-17 11:09:20 192

原创 linux find 忽略permission denied”

直接丢弃错误信息find / -name "#.txt" 2>/dev/null或者将错误输出到指定txtfind / -name "#.txt" 2>/home/error.txt

2020-10-04 16:27:40 1995

原创 利用远程服务器同步两台pc的文件

首先建立ssh tunnelssh -L 9999:nico4:22 jumper -p 2222详见我的另一篇博客下载并安装FreeFileSync设置远程目录经过端口转发,我们直接绑定本地端口即可这里我使用秘钥进行登录,也可以选择密码登录,设置好服务器上要同步的目录点击确定设置过滤器不需要同步的文件可以加到过滤器中设置同步方式常规操作首先点击比较然后点击同步总结两台pc均如上设置,并设置双向同步,即可保持两台pc与服务器三处文件保持同步,也可尝试RealTi

2020-09-30 18:50:23 756

原创 您的连接不是私密连接

直接输入thisisnotsafe回车就完事儿

2020-09-09 21:11:41 1996 2

原创 venv隔离环境使用

创建会在当前目录下创建虚拟环境python -m venv myenv激活myenv\Scripts\activate.ps1退出deactivate删除rm -rf myenv/

2020-08-08 10:31:20 152

原创 pip自动生成requirements

pip freeze > requirements.txt

2020-08-05 09:58:45 673

原创 pyqt QtGui.QImage显示图片异常

图1为正常图片,图2、3为异常图片,这玩意还不是100%复现,我这40张图出现两张读取异常问题代码:img = cv2.imread(path)img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)x = img.shape[1]y = img.shape[0]frame = QtGui.QImage(img, x, y, QtGui.QImage.Format_RGB888)QImage(uchar * data, int width, int height.

2020-08-04 15:59:51 3258 4

原创 No module named ‘PyQt5.QtWebEngineWidgets‘

原因Note that for v5.11 and later the 32-bit Windows wheels do not containthe WebEngine modules.解决办法:原来的清华源有点慢,于是换了个源原本conda环境中有pyqt5,需要管理员权限才能访问pip install PyQtWebEngine -i https://pypi.douban.com/simple/ --user...

2020-08-03 15:58:17 234

原创 Windows下免密登录github

首先本地生成ssh-key参考公钥复制到github记事本打开id_rsa.pub:复制全部内容到github - settings - SSH and GPG keys - New SSH key配置本地账户(base) PS D:\> git config --global user.name "onion-rain"(base) PS D:\> git config --global user.email "1934455602@qq.com"测试(base)

2020-07-23 09:47:34 383

原创 vscode local attach debug配置与使用

配置debug用vscode打开pytorch源码,run侧边栏中新建launch.json选择attach using process ID类型 的上面那个remote attach(因为我尝试了attach process id总是搞不定。。)配置好port和host,再在python代码中加入此时执行便会等待attach:(pytorch) xueruini@nico2:~/onion_rain/pytorch/object_detection$ python train.py --j

2020-07-09 15:47:16 3409

原创 多卡训练报错:assert all(map(lambda i: i.is_cuda, inputs))

由于debug需要管理员权限。。未完待续。。。起因多卡训练模型时候出错:training...

2020-07-08 20:10:57 1231 2

原创 linux命令行百度云上传下载

pip安装bypygithub地址(base) xueruini@nico2:~/onion_rain/pytorch/object_detection$ pip install bypy --userCollecting bypy Downloading https://files.pythonhosted.org/packages/d3/75/6ab7bd0ee85fb309fe2ccf6f1fb18483f0990b094c77d9d09d15f572b8df/bypy-1.6.11-py2

2020-07-06 09:16:19 1031 5

原创 编译pytorch源码

编译pytorch源码clone pytorch源码:(base) xueruini@nico2:~/onion_rain/pytorch/code$ git clone --recursive https://github.com/pytorch/pytorchCloning into 'pytorch'...remote: Enumerating objects: 37, done.remote: Counting objects: 100% (37/37), done....Resolv

2020-07-03 18:42:19 1745 3

原创 slurm使用入门

简介SLURM (Simple Linux Utility for Resource Management)一种可用于大型计算节点集群的高度可伸缩和容错的集群管理器和作业调度系统命令查询分区和节点的状态:(base) xueruini@nico4:~$ sinfoPARTITION AVAIL TIMELIMIT NODES STATE NODELISTV100* up 1-00:00:00 2 alloc nico[1-2]Hyb up 1

2020-07-02 13:01:45 2817

原创 进程被锁定到cpu固定核心

先说解决办法:重启tmux server:tmux kill-servertmux new -t <name>原因暂未找到(菜)叙述一下心路历程:端午节正在快乐炼丹,看了眼htop发现服务器发现两核有难62核围观,感觉挺有意思的,甚至发了条动态因为之前也出现过类似现象,后来莫名其妙就好了(应该是碰巧服务器重启),也就没放在心上直到第二天急着跑推理看结果,发现还是很慢,并且发现服务器变本加厉成了一核有难63核围观:遂开始刨根问底,首先用htop查看本用户进程,发现本用户绝

2020-06-26 20:18:14 743

原创 用latex写毕业论文遇到的一些坑

xdvipdfmx:fatal: Unable to open “main.pdf”把本地的pdf查看器关掉就可以了

2020-05-02 17:14:00 863

原创 从零配置latex

首先下载安装tex livehttps://www.tug.org/texlive/下载,安装,貌似从镜像站下载回快点,懒得搞,不急就等着就好了安装好打开终端测试一下tex -vlatex -vxelatex -vpdflatex -vvscode安装latex workshop插件搜一下第一个就是了...

2020-04-04 09:33:12 211

转载 linux下批量清理占用显存的进程

在跑TensorFlow、pytorch之类的需要CUDA的程序时,强行Kill掉进程后发现显存仍然占用,这时候可以使用如下命令查看到top或者ps中看不到的进程,之后再kill掉:fuser -v /dev/nvidia*批量清理显卡中残留进程(无sudo权限):fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -...

2020-03-21 20:52:07 1464

原创 intel神经网络压缩库distiller使用时遇到的问题

ModuleNotFoundError: No module named ‘distiller’原因:一开始没有按照README给出的方法,用conda新建了虚拟环境然后使用pip install -r requirements.txt安装好了运行出错才发现。按照README提示pip3 install -e .装好之后还是没有解决上述报错,无奈删除虚拟环境,重建虚拟环境重新执行安装...

2020-03-04 23:09:45 628

原创 cmder配置

我将默认启动的shell改成了powershell,启动速度在一秒以内startup-tasks里predefined tasks删干净,只留下你需要的shellgeneral里的startup task选择你保留的那个shell...

2020-02-28 21:24:33 1374 1

原创 imagenet2012训练集警告:UserWarning: Corrupt EXIF data. Expecting to read 4 bytes but only got 0. warni

n04152593_17460.JPEG 其实是 HEIC 图像更多imagenet训练集特殊图像

2020-02-23 18:45:38 3182 2

原创 批量解压imagenet数据集压缩包

新建.sh文件touch tar_batch.sh编辑.sh文件vim tar_batch.shbash文件内容:for i in `ls *.tar`do mkdir ./${i%.tar} tar xvf $i -C ./${i%.tar} #echo ${i%.tar}donevim粘贴方法:先进入insert模式,然后shift+insert粘...

2020-02-22 10:06:30 1983 4

原创 linux 解压、压缩命令

zip:解压:unzip test.zip -d test/压缩:zip -r test.zip test/tar:解压:tar -xvf test.tar test/ #打包压缩为一个.gz格式的压缩包tar -zcvf test.tar.gz test/ #打包压缩为一个.gz格式的压缩包tar -jcvf test.tar.bz2 test/ #打包压缩为一个.bz2格式的压缩...

2020-02-21 19:41:38 122

原创 tmux 常用命令、常用快捷键、常用配置

常用命令debian/ubuntu 安装sudo apt-get install tmux打开服务器(会同时创建一个会话)tmux新建会话,命名为session_nametmux new -s session_name关闭会话, 关闭后台tmux kill-session -t session_name分离会话, 后台保持tmux detach连接上一个会话tmu...

2020-02-12 16:36:00 1532 1

原创 卷积、池化输出尺寸计算

原文链接通常情况下padding[0] = padding[1]dilation[0] = dilation[1] = 1kernel_size[0] = kernel_size[1]Hin = WinHout = Wout简化为Hout = Wout = (Hin + 2*padding - 1)/stride + 1(向下取整)...

2020-02-11 12:07:25 778

原创 debian系统用spack安装cuda和cudnn

spack——一个跨平台的软件包管理工具,docs链接如下:https://spack.readthedocs.io/en/latest/服务器管理员提示use spack to load cuda,那咱就照做咯spack install cuda发现已经安装(主要是获取cuda root)spack install cudnn等待安装(装好了才来写的博客所以没截图),若要安装特...

2020-01-14 11:35:08 716

原创 windows下通过跳转机ssh连接内网服务器并防止长时间不操作被服务器关闭连接

编辑./ssh/config文件如下Host tiaoban HostName xxx.xxx.xxx.xxx Port xxxx User xxxHost target HostName xxx.xxx.xxx.xxx Port xxxx User xxx ProxyCommand ssh.exe -q -W %h:%p tiaoban测试:终端输入ssh ...

2020-01-12 16:41:20 671

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除