- 博客(4)
- 收藏
- 关注
原创 深度学习远程GPU集群环境搭建及组件安装记录
目录前言安装配置Anaconda下载和安装删除安装配置PyTorch其余可能出现的问题Jupyter NotebookmatplotlibOpenCV2einops前言近期有大量深度学习的实验需要在远程GPU集群上面跑,集群设备系统为Linux Ubuntu,GPU型号为RTX或GTX。针对每一块新申请到的设备都需要重新配置我需要的环境,在此做一下统一记录。安装配置Anaconda下载和安装首先配置Anaconda,通过wget从archive中获取最新的版本,当前最新版版本如下面命令中所示(可以
2021-03-19 15:46:06 1582
原创 ssh免密码登陆以及配置环境变量
近期需要经常ssh到远程GPU集群跑代码,每次ssh都要输入密码甚是麻烦,在此记录一下ssh免密码登陆的流程,以及配置环境变量达到进一步偷懒的目的。我的本地设备是Macbook Pro,需要链接到的GPU集群是Linux系统。首先在本地命令行通过如下命令在本地设备生成秘钥对。ssh-keygen -t rsa然后console会让你输入存放秘钥的位置,不用输入任何东西直接回车即可放在默认位置。如果已经有了秘钥则会如下面所示,询问是否覆盖。如果没有生成过秘钥,则会直接完成生成。Generating
2021-03-15 16:40:54 702 1
原创 关于jieba自带tf-idf使用的经历
正在做的研究项目进行到一个关于数据的分析和处理阶段,需要对大量长度较短的文本进行提取关键词的操作。这里我提取关键词的想法其实是跟TF-IDF的机制略有出入的,因为在一个短文本中一个对我有用的词出现的次数不会很高,但我同时又希望它能在很多条文本中都出现,以此从而可以得到一些高频出现的关键词。TF-IDF词频(TF)=该词在文本中出现的次数文本中总词数词频(TF) = \frac{该词在文本中出...
2020-03-14 00:48:01 1601
原创 关于pytorch中使用多个gpu的踩雷记录
第一次使用CSDN来记录自己在学习过程中遇到的问题,本意只是做个记录,若是能帮到遇到相同问题的人那自然更好。佛系交流。目前所在学校的计算机系自己搭建了个GPU Farm,设备是GTX 1080 Ti的,看起来还算ok,但其实细究起来还挺鸡肋的。但是总对于数据量巨大的项目,还是需要跑代码吧,将就着用了。因为资源有限,分配到超过1个gpu需要排队,所以从来没尝试过使用多个gpu。最近由于数据量变大,...
2020-03-11 20:25:37 1441 1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人