Linux及服务器
文章平均质量分 61
Linux
Mr.zwX
2019年进入电子科技大学接触计算机(机器学习/深度学习(CV、NLP、GNN)、时空数据挖掘、一点点前后端开发),2022年在电子科技大学实验室科研,2023年在复旦大学NLP组实习,2023年9月至今,在北京大学人工智能研究院科研(模型加速/压缩、隐私计算)...保持努力,anyway,这个平台是我记录一些乱七八糟计算机笔记的地方,供(记性不好的)自己复习,同时也分享给大家。如需联系:请发邮件至wenxuan225@qq.com
展开
-
【CMake编译报错小复盘】CMAKE_CUDA_ARCHITECTURES,CMake version,GCC version问题
但是并没有这么顺利,我发现在编译时仍然会报错gcc版本过低。下面是我猜测的原因,我将gcc的路径打印(whereis gcc)出来,发现有多个路径,也许系统默认选择了第一个路径,也就是老版本。这个问题比较棘手,需要手动下载新版的gcc,然后激活新版的gcc以替换旧版本。当出现这个报错时,本质问题并不是没有指定所谓的cuda architecture参数,而是找不到nvcc路径。然后编译了一次好像没生效,然后我再编译了一次,发现编译成功!cmake和cuda相关的报错通常都很“调虎离山”。原创 2024-09-10 01:51:22 · 667 阅读 · 0 评论 -
对模拟出来的网络环境进行检查
之前记录了一篇用throttle.sh脚本实现对不同带宽和网速的网络环境模拟(),这里再记录一下如何验证当前带宽和网速是预期的样子。原创 2024-08-15 13:57:25 · 224 阅读 · 0 评论 -
由vscode自动升级到1.86导致的“终端可以ssh服务器,但是vscode无法连接服务器”
简单来说就是,ssh配置没动,前两天还可以用vscode连接服务器,今天突然就连不上了,但是用本地终端ssh可以顺利连接。原创 2024-02-03 17:38:27 · 2372 阅读 · 7 评论 -
cp没有--exclude选项!Linux复制文件夹时如何排除一些文件?
之前使用tar命令压缩文件将时,使用了–exclude选项排除了一些不需要的文件。现在我想复制一个文件夹,但是其中一些文件不需要复制,此时注意到cp命令居然没有–exclude选项。原创 2023-11-05 21:18:07 · 2914 阅读 · 0 评论 -
Docker容器中执行throttle.sh显示权限报错:RTNETLINK answers: Operation not permitted
解决方案说简单也挺简单,只需要两步完成。但是其实又蛮繁琐,因为需要将现在的容器保存为镜像,然后从镜像重新创建容器(关键点是在创建新容器过程中加入权限指令)。但是,出现了权限的报错:RTNETLINK answers: Operation not permitted。原创 2023-11-05 17:00:56 · 1702 阅读 · 0 评论 -
【Bash】记录一个长命令换行的BUG
最后,小结一句:在用bash写长命令时,可以分行,但是分行要带换行符 \,并且不要随意用注释,会导致后面的参数无法传入。实在不会的话,在bash里放不换行的长命令就行。由于这个命令太长了,有这样一些问题:1. 改起来不方便,2. 没法存档,3. 不方便在之前命令的基础上修改后并行跑模型。所以,这个长命令可以写成这样一个。接下来,就是我踩坑的地方了!原创 2023-10-24 16:21:11 · 780 阅读 · 0 评论 -
【Linux】常用文件压缩/解压命令
如果只打包代码(存储少),直接tar即可;如果项目中有模型权重文件(存储多),建议tar.gz好一些。每次压缩/解压文件都要搜一下命令,所以就在这里记录一下常用的命令吧。原创 2023-06-30 11:49:10 · 826 阅读 · 0 评论 -
【Tmux】窗口周围出现大量点点导致窗口面积减小
某次打开tmux窗口后,发现了下图的问题,一直无法解决,也一直不知道原因。能做的要么是妥协,但是实在不方便,要么是kill-session后重新new一个,也实在是不方便。原创 2023-04-30 18:19:22 · 2427 阅读 · 9 评论 -
【完整过程】vscode连接远程Linux服务器及免密登陆
之前,我通过scp命令把代码上传到服务器后,在终端ssh连接服务器,通过一系列的Linux命令进行数据集和模型的操作。其实cd ls这些命令都还很方便,但是当我需要查看或修改源码时,用vim编辑总是不能给我舒适的体验。甚至,服务器上的vim有时会出现排版或编写时bug(注:我不是说vim不方便,vim实际上是Linux系统强大的工具,而是最近我在服务器上遇到了vim的一些bug ~ 可以理解为我的求生欲哈哈哈)。所以,为了更好的体验,这里记录一下vscode连接远程Linux服务器及免密登陆的基本操作。..原创 2022-08-09 20:48:18 · 17233 阅读 · 6 评论 -
【从跳板机ssh到内网目标服务器】配置vscode实现远程连接
然后选择你要进入的文件夹下,开始实验。原创 2022-09-15 12:19:12 · 2195 阅读 · 3 评论 -
【Log】镜像源配置以及最新可用镜像源
关于镜像源,总是出现一些不稳定的问题。比如以前最流行清华镜像源,但是貌似缺乏维护和更新,蛮多包找不到。于是,我又尝试过中科大镜像源、豆瓣镜像源、阿里镜像源…这里记录一下当前可用且好用的镜像源链接及命令。......原创 2022-08-04 22:32:27 · 447 阅读 · 0 评论 -
【tmux】终端复用器!让代码挂服务器后台执行
tmux终端复用器!实现窗口与会话的“解绑”。原创 2022-10-23 15:41:49 · 3337 阅读 · 2 评论 -
【工具篇】如何优雅地监控显卡(GPU)使用情况?
显然这种带高亮的显示看起来更舒服,而且可以显示出完整显卡的完整名称,以及正在使用GPU的用户。缺点就是不能像nvidia-smi一样显示出进程信息。这个方法看起来会很高大上,但是由于我自己没有个人的GPU Linux服务器,公用的Linux服务器我没有管理员权限,所以暂时就不尝试这个方法了。一篇非常非常基础的记录,如何监控服务器GPU使用情况?原创 2022-09-22 16:49:56 · 11043 阅读 · 2 评论 -
从WSL1升级到WSL2
现在我的Windows系统上是已经有WSL1系统,现在希望快速从WSL1升级到WSL2,步骤很简单,三步走!启动虚拟机功能管理员权限打开终端,输入命令:dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart运行完成后,重启电脑。下载Linux的内核更新包x64:https://wslstorestorage.blob.core.windows.net/wslbl原创 2021-12-06 23:56:35 · 5112 阅读 · 2 评论 -
VMware虚拟机Ubuntu共享文件夹
1 开启虚拟机的共享文件夹配置首先在虚拟机中打开设置,在选项中点击共享文件夹,启用该功能并配置文件夹路径添加的文件夹就是电脑系统中的文件夹主机路径,比如这里我用的D盘中的ShareVMware文件夹2 安装或升级VMware Tools这一步是必不可少的,否则可能会出现找不到hgfs文件夹/hgfs下无共享文件夹等情况下载好之后,会出现如下文件,现在需要对VMware Tools进行解压安装在该目录下进入终端,解压命令如下:tar -zxvf '/media/hadoop/VMware原创 2021-11-01 19:52:29 · 34891 阅读 · 8 评论 -
【深度学习】使用GPU服务器训练模型时的配置过程
使用ssh命令在windows或Linux系统进入到服务器环境(已配置好Anaconda的虚拟环境)通过nvidia-smi查看GPU使用情况,通过nvidia-smi -L查看GPU型号,通过nvidia-smi -a查看GPU完整信息…可以看到实际上两块GPU都是空闲状态,均能使用。在python中查看cuda是否可用在多GPU的情况下,使用指定的GPU进行训练device = torch.device('cuda:0' if torch.cuda.is_available..原创 2021-08-29 15:48:00 · 3020 阅读 · 0 评论 -
服务器普通用户无法使用conda命令及conda删除虚拟环境失败 解决方案
这两天开始使用远程的GPU服务器,简单记录一些遇到的问题和解决方案:服务器普通用户无法使用conda命令原因:Anaconda的安装目录实际上是在另一个用户文件中,那么如果你在新用户中调用conda命令,就会出现找不到命令的报错:解决:将root文件下的.bashrc配置文件覆盖到普通用户文件中,即复制粘贴操作。于是在该用户下,就能成功找到执行文件路径,成功调用conda命令。注:由于我只有普通用户的权限,无法进入root文件并执行copy操作,所以这一步的完成就靠管理员了。sudo cp原创 2021-08-09 19:47:48 · 2869 阅读 · 0 评论 -
【Linux】在虚拟机Ubuntu18.04上安装配置Anaconda3及基本命令
之前我写过如何在Window10系统中配置Anaconda3,目的是为了方便更好地管理Python环境。今天记录在Linux上配置Anaconda3的原因也很简单,一些深度学习的模型在Linux上才能得到最好的支持,所以趁着周末,配置了一波虚拟机+Ubuntu18.04+AnacondaWindows系统配置Anaconda:这可能是一篇最贴心的Anaconda指北了(踩坑点)1 下载安装VMware Workstation Pro由于VMware我很早之前就安装了,所以也忘记了这个软件是不是需要.原创 2021-07-17 16:53:23 · 7318 阅读 · 5 评论 -
远程连接Linux服务器并实现文件的上传下载
我看网上关于远程服务器的文件上传下载教程都非常简洁~但是大多数漏掉了一些处理上的细节,这里进行一个稍微详细一点的总结。远程连接服务器在本机的cmd或本地Linux系统下,使用如下ssh命令进行连接(我使用的是WSL):ssh username@server_ipeg. ssh zwx@123.567.890.1password(当然这里是不显示的,别怀疑自己,大胆输入就好)当然这个是常规情况,对于更高安全级别的系统,我们修改了其端口号,所以需要用-p指令连接端口号port,假设端口号是10.原创 2021-07-03 23:58:28 · 2121 阅读 · 8 评论 -
解决Win10下Linux子系统WSL输入who命令没有响应的内核问题
系统和工具说明Ubuntu 16.05 LTSWindows Terminalps:powershellwsl:windows子系统Linux问题在做操作系统的Linux的用户监测实验时,我发现在WSL下输入who命令没有反应,输入命令呈现标题,不呈现登录的用户名。这样的话,我就无法从user list中获取到用户名($1),从而无法实现用户登录监测实验。简单粗暴的解决方案就是逃避问题,直接用虚拟机Linux做实验,啥bug都没有。哈哈,但是我当然是很希望尽快解决问题啦~原因这个问原创 2021-05-19 10:02:40 · 3720 阅读 · 9 评论 -
ssh远程登录服务器报错解决方案 WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED!
报错详情在命令行中通过ssh命令连接服务器时出现了如下哗啦哗啦的报错,一行行的@让我有点不知所措。@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ WARNING: REMOTE HOST IDENTIFICATION HAS CHANGED! @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@IT IS POSSIBLE THAT SOMEONE IS原创 2021-01-06 19:14:57 · 1214 阅读 · 4 评论 -
Linux Ubuntu环境的使用及Fish shell
文章目录1 在Windows系统下安装Ubuntu系统2 安装Fish shell3 启动Fish shell4 Fish特色1 )语法高亮 错误时呈现红色2 )代码补全3) 建议功能4)变量声明5)简单的语法规则5 web设置Fish在使用Windows环境下的cmd时会用到大量命令行,在Linux环境下的Ubuntu系统中,也同样会使用到大量的命令行。但是在不同的系统中,命令行是有差别的,需要分类进行学习。在Ubuntu中使用命令行会显得格外方便,依赖于程序员广泛使用的Linux系统。fish其实原创 2020-06-08 19:32:27 · 2038 阅读 · 0 评论