- 博客(42)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 MacOS确定使用的shell和切换
https://www.moncefbelyamani.com/which-shell-am-i-using-how-can-i-switch/
2023-10-06 16:58:44
100
原创 Pytorch使用DataParallel后仍只使用一个GPU
服务器类型：slurm管理下的超算服务器系统：linuxpython版本：3.8虚拟环境：virtualenvpytorch版本：1.10问题描述：在服务器上用上卡跑模型时，使用后，模型和数据仍然只占用第一个gpu，然后内存爆掉。
2023-05-14 14:03:12
1008
原创 terminate called after throwing an instance of ‘c10::Error‘ chunk expects at least a 1-d tensor
多卡训练深度学习模型报错 terminate called after throwing an instance of 'c10::Error' what(): chunk expects at least a 1-dimensional tensor
2022-12-19 08:46:49
2346
原创 Linux上VSCODE无法打开web视图，“Webview Service Worker Error in registration due to invalid document state”
解决linux中vscode无法打开web视图
2022-07-08 02:54:20
7296
1
原创 virtualenv虚拟环境import torch遇到cannot import name ‘packaging‘ from ‘pkg_resources‘
python 版本：3.8安装pytorch方式：piptorch版本：1.10.0系统：Linux问题描述：$ python>>> import torch错误详细信息Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/project/6019271/siyi/siyi_projects/ENV/lib/python3.8/site-
2022-05-25 03:15:18
1815
1
原创 Slurm作业调度系统常见操作（使用超算运行深度学习）
1. 传输下载文件 sftp远程命令cd,pwd等，本地命令lcd,lpwdget 远程地址 本地地址 put 本地地址 远程地址 上传文件夹 1. 在远程建立和本地一样名称的文件夹如data/ 2. put -r data/2. 建立虚拟环境module load python/3.8 # 加载modulevirtualenv --no-download ENV # 建立一个叫ENV的虚拟环境 激活虚拟环境 source ENV/bin/activate
2022-05-24 10:30:55
2142
原创 git常用指令整理
创建新仓库创建一个文件夹，命令行至该文件夹下git init检出仓库创建一个本地仓库的克隆版本 git clone /path/to/repository如果是远端服务器的仓库 git clone username@host:/path/to/repository如果是github的仓库，在github上复制地址查看远程库信息 git remote -v本地工作流第一是工作目录，保存实际文件；第二是暂存区，临时保存改动；第三是head，指向最后一次提交结果添加与提交.
2022-05-24 03:18:46
94
原创 加载预训练模型时，原模型存在一些预训练模型没有的参数（以resnet为例）
当前我们已经建立了模型的类resnet18，并且拥有预训练模型pth文件的地址1. 查看模型权重model_urls = { 'resnet18': 'https://s3.amazonaws.com/pytorch/models/resnet18-5c106cde.pth', 'resnet34': 'https://s3.amazonaws.com/pytorch/models/resnet34-333f7ec4.pth', 'resnet50': 'https://s3.a
2022-05-18 03:56:47
964
原创 RuntimeError: stack expects each tensor to be equal size, but got [3, 1053, 1872] at entry 0 and [3,
这个问题出现的原因是因为输入dataloader的图片大小并不一致。注意检查train, test, val数据集是否都进行了图片大小处理。如果没有的话，可以使用test_transform = transforms.Compose([ transforms.Resize((256, 256)), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406],std=[0.229, 0.224, 0.2
2021-11-16 08:12:13
9993
2
原创 [Mac OS]git push上传的python文件变成一行，并有很多‘M^’
今天使用’git push’上传代码，发现上传后的github代码格式变得很奇怪不仅变成只有一行，而且换行符变成了‘M^’，重新下载下来后，用mac的文本编辑器和pycharm打开都是正常的，但是用VIM打开还是乱的。查阅资料发现原来是因为github使用的window换行符，与linux和macOS的换行符不同。根据这篇文章，下载软件sublime text，把换行符修改成了window下的，问题成功解决...
2021-09-26 14:10:58
374
原创 数据结构与算法python版 MOOC 第十二周
十二、图及算法-下本系列博客基于“ (北京大学)数据结构与算法python版”慕课，课程在中国大学慕课和bilibili上均可找到。1. 内容深度优先搜索DFS算法图的应用：拓扑排序，强连通分支，最短路径，最小生成树，2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 先修课题目内容： 有 n 门课程要选，其编号分别由 0 至 n-1。每个课程都有一些需要提前学完的先修课程：例如，假设在学习课程 0 前需要先学习课程 1 ，我们用一个先修关系
2021-07-08 18:55:24
212
原创 数据结构与算法python版 MOOC 第十一周
十一、图及算法-上本系列博客基于“ (北京大学)数据结构与算法python版”慕课，课程在中国大学慕课和bilibili上均可找到。1. 内容图数据类型的实现图的应用：词梯问题广度优先搜索BFS算法及其应用（骑士周游问题）2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 找到小镇的法官题目内容： 在一个小镇里，按从 1 到 N 标记了 N 个人。传言称，这些人中有一个是小镇上的秘密法官。如果小镇的法官真的存在，那么： 小镇的法官不相
2021-07-08 18:49:24
290
原创 数据结构与算法python版 MOOC 第十周
十、树及算法-下本系列博客基于“ (北京大学)数据结构与算法python版”慕课，课程在中国大学慕课和bilibili上均可找到。1. 内容二叉查找树的结构与操作 Binary Search Tree平衡二叉查找树AVL树的结构与操作2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 二叉查找树填空题目内容： 给定一个二叉树结构，与一个整数列表，请将整数填充至二叉树对应节点内，使其成为一个二叉查找树；请输出该二叉查找树的层次遍历。下图展示了给
2021-07-08 18:38:35
304
1
原创 数据结构与算法python版 MOOC 第九周
八、排序与查找-下1. 内容散列函数的定义和设计散列冲突的解决方法区块链技术2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 字符串中所有重排题目内容： 给定一个字符串s与待查找字符串p，请给出使得s[i: i+len ( p ) ]是p的一个字母重排的所有下标i。题目保证字符串p非空，且各字符串仅由小写字母构成输入格式: 两行字符串，第一行为s，第二行为p输出格式：所有满足条件的下标从小到大排列，以空格分隔输出。若无对应下标，则输出字
2021-07-08 18:23:10
328
4
原创 数据结构与算法python版 MOOC 第八周
八、排序与查找-下1. 内容顺序查找算法及分析对有序表的二分查找算法及分析冒泡排序和选择排序算法及分析插入排序算法及分析谢尔排序算法及分析（插入排序的进一步拓展）归并排序算法及分析快速排序算法及分析2. 课程代码在GitHub中下载不同查找和排序算法的复杂度3. OJ作业所有代码均可在github中下载3.1 快速排序主元题目内容： 著名的快速排序算法里有一个经典的划分过程：我们通常采用某种方法取一个元素作为主元（中值），通过交换，把比主元小的元素放到它的左边，比主
2021-07-07 22:52:09
451
1
原创 数据结构与算法python版 MOOC 第七周
七、排序与查找-上1. 内容顺序查找算法及分析对有序表的二分查找算法及分析冒泡排序和选择排序算法及分析插入排序算法及分析谢尔排序算法及分析（插入排序的进一步拓展）归并排序算法及分析快速排序算法及分析2. 课程代码在GitHub中下载不同查找和排序算法的复杂度3. OJ作业所有代码均可在github中下载3.1 快速排序主元题目内容： 著名的快速排序算法里有一个经典的划分过程：我们通常采用某种方法取一个元素作为主元（中值），通过交换，把比主元小的元素放到它的左边，比主
2021-07-06 23:08:28
258
2
原创 数据结构与算法python版 MOOC 第六周
六、递归-下1. 内容优化问题和贪心策略，找零问题找零问题递归解法动态规划：找零问题，博物馆大盗问题2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 铺瓷砖题目内容： 给定一个长度为N的区域，及4种不同长度的瓷砖：灰瓷砖（长为1格）、红瓷砖（长为2格）、绿瓷砖（长为3格）与蓝瓷砖（长为4格），求所有不同的铺满整个区域的方法数。 例如：当N=5时，共有15种铺满区域的方法，示意图如下：输入格式: 一个自然数N输出格式：一行数字，表
2021-07-06 22:42:28
271
原创 数据结构与算法python版 MOOC 第五周
四、递归-上1. 内容递归三定律：算法有一个基本结束条件，算法会改变状态向基本结束条件演化，算法需要调用自身递归的应用：任意进制转换，分形树，谢尔宾斯基三角形，汉诺塔，探索迷宫海龟作图介绍2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 进制转换题目内容： 给定一个M进制的数，请将其转换为N进制并输出输入格式: 两行，第一行为空格分隔的两个数字，分别为10进制表示的M与N；其中M, N均满足2 ≤ M、N ≤ 36。第二行为待转换的M进制
2021-07-06 20:09:54
217
原创 数据结构与算法python版 MOOC 第四周
四、基本线性结构-下1. 内容讲解队列的结构与性质，双端队列队列应用：击鼓传花，打印任务讲解无序表的结构与性质 list，无序表链表实现，有序表链表实现2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 有序队列题目内容： 一开始给出了一个由小写字母组成的字符串 S。我们规定每次移动中，选择最左侧的字母，将其从原位置移除，并加到字符串的末尾。这样的移动可以执行任意多次返回我们移动之后可以拥有的最小字符串（注：在Python3中，字符串的大小可
2021-07-06 19:00:21
266
原创 数据结构与算法python版 MOOC 第三周
三、基本线性结构1. 内容定义线性结构讲解栈的结构结构栈的应用：简单括号匹配，进制转换，表达式转换（前缀，中缀，后缀）2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 有效的括号给定一个只包括 ‘(’，’)’，’{’，’}’，’[’，’]'的字符串，判断字符串是否有效。有效字符串需满足：左括号必须用相同类型的右括号闭合。左括号必须以正确的顺序闭合。注意空字符串可被认为是有效字符串。输入格式: 一行字符串输出格式：True或False，
2021-07-06 18:29:26
384
原创 数据结构与算法python版 MOOC 第二周
二、 算法分析1. 内容描述算法时间复杂度的方法—大O表示法。通过变位词判断问题的求解方法的分析，比较不同方法的复杂度。简要叙述python中一些数据类型介绍OJ系统2. 课程代码在GitHub中下载3. OJ作业所有代码均可在github中下载3.1 A/B问题给出两个整数，输出他们的商。可以使用以下语句实现整数n的输入： n=int(input())输入格式: 两行，每行一个整数输出格式： 输出一个数，即他们的商，保持小数点后3位（%.3f）如果除数为0，则输出：NA（两
2021-07-06 17:34:36
440
原创 [VQA论文阅读]RUBi Reducing Unimodal Biases for Visual Question Answering
改变样本权重减小最有偏置的样本的重要程度：比如那些不需要看图片就能够回答正确的样本这样会让模型不再依赖于两个模态，而是使用统计概率解决问题我们使用了一个只有问题的模型，能够通过识别不想要的规律被使用，来捕获语言偏置代码 github.com/cdancette/rubi.bootstrap.pytorch1.介绍将what color banana 链接到yellow。利用了只有问题的模型是偏向问题模态的事实。在训练时，增加一个只有问题的分支，动态的调整损失来补充偏置。所以，反向传播会减少最偏.
2021-03-30 22:13:31
415
原创 [visual dialog相关论文阅读]Two Causal Principles for Improving Visual Dialog
我们认真检查了模型和数据之间的因果关系1.我们应该移除对话历史直接输入到答案模型，不然可能会有有害的偏见2.历史，问题和答案是一个不可观察的混杂因素，导致训练数据存在虚假的相关性我们提出了几种因果干预的算法1.介绍我们引入了因果推理 图结构 站在数据的原因-影响解释上，不仅仅是统计联系。贡献：提出了两个原则过去模型图和作者提出模型图的区别 连接线可以看作是模态变换P1显示我们应该移除对话历史的直接输入，因为建造者不允许从过去的问答对里面复制，所以H不能推到A。但是建造者鼓励.
2021-03-30 21:31:10
408
原创 [Linux服务器]内存和缓存的清理
今天发现跑深度学习程序时，服务器会很卡并直接掉线，要过很久才能重新连接。最开始以为是gpu的问题，但是上周在跑同样batch的数据时没有遇到问题，与朋友讨论后认为是cpu内存爆掉了的原因。以下是完整的修复过程1.查看内存使用free -h 查看内存和缓存watch free -h 实时查看内存和缓存发现不跑程序的时候，占用达到了71g2.清理碎片最开始认为可能是系统之前运行程序留下的缓存文件，所以使用清理缓存的方法。sudo -s # 进入到管理员模式sync # 在清理缓
2021-03-22 10:30:05
4484
1
原创 [Linux服务器]跑深度学习框架常用指令和使用指南Mac
跑深度学习框架常用指令和使用指南Mac1. 连接app的选择2. 连接需要的信息3. 操作步骤3.1 进入指定文件夹3.2 设置环境3.3 训练前准备3.4 训练过程3.5 关闭训练程序3.6 查看tensorboad训练图4. 其他常用指令1. 连接app的选择window下：可视化传文件使用winscp，在命令行输入指令使用putty或xshell等Mac下：可视化传文件使用ForkLift，在命令行输入指令使用Mac自带的终端使用方法2. 连接需要的信息服务器的用户名如 ubuntu
2021-03-14 21:18:56
705
原创 Mac快速解决zsh: command not found: conda的方法
第一次使用Mac系统，在安装好anaconda后，使用conda --version报错“zsh: command not found: conda”。原因是没有把conda添加进环境路径。解决方法：找到anaconda3/bin的路线，在命令行中打印以下格式“export PATH=~/CS/anacondasiyi/anaconda3/bin:$PATH”其中“~/CS/anacondasiyi/anaconda3/bin”是我电脑中bin的路径。添加好后可以使用conda list但使用c
2021-03-04 16:32:39
2502
7
原创 [Linux服务器]使用mac登陆服务器的方式和软件
命令行界面使用putty软件，简单易上手使用mac终端连接可以参考这两个链接1和2是两种不同的方式，但要注意的是，如果端口号不是默认22 则需要写 name@xxxx -p 端口号。图形界面为了方便向服务器上传文件，所以希望能够找到一个图形界面的软件能够查看本地和服务器的文件夹。在window系统下可以使用winscp，而在macos系统，我根据这篇文章 在appstore里面找到了folklift软件，界面几乎和winscp一样，十分方便。...
2021-03-01 19:04:26
410
原创 [Python 环境配置错误] 安装tensorflow的问题 ImportError: DLL load failed: 找不到指定的模块
新开了NLP的学习，莫烦的教程需要
2021-01-13 11:40:39
385
原创 python中如何在txt中存储固定位数的array数据
数据太多，直接打印有省略，所以想存在txt里详细看。最开始直接输出时显示如下完全看不清楚。网上大部分方法只是教如何在输出打印保留四位小数，若想保存也变成四位，可用如下代码lbph = get_LBPH(circul_2_8, 256, 8, 8, True)text = 'lbph.txt'np.savetxt(text, lbph, fmt="%6.4f")问题解决。By the way， 如果想要打印输出固定位数的小数，可以使用lbph = np.round(lbph, 4)或者
2020-12-05 19:36:26
1272
原创 [Linux服务器 错误] RuntimeError: cuDNN error: CUDNN_STATUS_BAD_PARAM
这是因为数据类型不一致造成的。我出现的原因是因为Numpy默认产生的数据是float64, 而之前的数据都是float32。所以改变构造数据的代码如下A = np.ones([1,5], dtype = float32)另一个错误“RuntimeError: expected type torch.cuda.DoubleTensor but got torch.cuda.FloatTensor”是由于没有把tensor变成cuda并且数据类型不一致添加 .cuda() 并由上文一样检查数据类型
2020-10-08 16:58:50
2718
原创 [Linux服务器 错误] nohup: ignoring input and appending output t o ‘nohup.out‘
并不一定是出现了错误。使用nvidia-smi或tail -fn 50 nohup.out检查一下程序是否在运行
2020-10-08 16:53:59
2336
1
原创 [Linux服务器 错误] TypeError: can‘t convert CUDA tensor to numpy. Use Tensor.cpu() to copy the tensor
这一错误出现的原因是对之前的cuda中的张量又使用numpy进行计算。检查代码使用A.data.cpu().numpy()变换一下即可继续
2020-10-08 16:52:18
291
原创 python random在一定范围内生成几个随机整数
这篇博客有详细方法https://blog.csdn.net/u012759006/article/details/108252836
2020-10-08 14:21:57
4415
原创 python中如何将矩阵合并并多一个维度
这是在建立一个随机的某一行为0的矩阵，再将几个矩阵合在一起使用了使用if else和newaxis就可以很好的解决这个问题先用if的判断，让mask拥有一个初始的值，此时用newaxis让矩阵增加一维。在else中，用concatenate进行合并即可for i in range(random_size): mask_id = random.randint(0, random_num) one_mask = np.ones([random_num-1, dimension])
2020-10-08 12:00:54
3025
原创 [Linux服务器 错误] RunTimeError: Cannot join current thread
关于线程的错误。我的训练指令是nohup python train.py --config-yml configs/lf_disc_faster_rcnn_x101.yml --load-pthpath checkold/checkpoint_31.pth --validate --gpu-id 0 1 --cpu-workers 8 &把cup-worker改成4个就可以了，原因应该是训练和测试同时的时候，都是8个 服务器没那么多...
2020-08-08 19:33:42
745
1
原创 [Linux服务器 错误] 使用xshell connection failed
使用其他的终端平台就可以，唯独xshell不行。不要犹豫，果断放弃，改使用putty，问题解决
2020-08-08 16:04:05
1600
2
原创 [python 环境配置错误] Linux服务器 RunTimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
在服务器上运行代码时遇到上述错误。首先明确一点，服务器可以安装多种cuda，虚拟环境的cuda可以和服务器的不同，使用cat /usr/local/cuda/version.txt 查看的是服务器的cuda, 并不是虚拟环境的，虚拟环境用conda list直接查看cudatoolkit cudnn的版本。如果遇到上述报错，一定是包不兼容的问题，此时需要认真检查python，tensorflow, pytorch, cuda版本的对应（在网上搜索对应版本）。如果没有问题，那么采用重装一下试试（我就是这样.
2020-08-08 15:57:54
1358
4
原创 [python 环境配置错误] 使用pip安装一个大包报错
报错指令如下pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool(host=‘files.pythonhosted.org’, port=443): Read timed out.参考博文问题解决使用命令pip --default-timeout=1000 install -U 模块名例如pip --default-timeout=1000 install -U matplotlib来下载matplotlib，
2020-06-28 18:09:40
254
原创 [python 环境配置错误] 使用pip时Cache entry deserialization failed, entry ignored 错误解决
使用pip安装包时出现以下错误，然后提示pip的版本太低。于是使用“python -m pip install --upgrade pip”， 还是无法安装。解决方法：使用管理员身份打开命令行工具，再使用上述语句更新pip，成功更新，问题解决！...
2020-06-28 17:35:23
4587
1
EEG MI Data.zip
2020-08-05
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人