- 博客(4)
- 收藏
- 关注
RSS订阅原创 深度学习远程GPU集群环境搭建及组件安装记录
目录前言安装配置Anaconda下载和安装删除安装配置PyTorch其余可能出现的问题Jupyter NotebookmatplotlibOpenCV2einops前言近期有大量深度学习的实验需要在远程GPU集群上面跑，集群设备系统为Linux Ubuntu，GPU型号为RTX或GTX。针对每一块新申请到的设备都需要重新配置我需要的环境，在此做一下统一记录。安装配置Anaconda下载和安装首先配置Anaconda，通过wget从archive中获取最新的版本，当前最新版版本如下面命令中所示（可以
2021-03-19 15:46:06
1579
原创 ssh免密码登陆以及配置环境变量
近期需要经常ssh到远程GPU集群跑代码，每次ssh都要输入密码甚是麻烦，在此记录一下ssh免密码登陆的流程，以及配置环境变量达到进一步偷懒的目的。我的本地设备是Macbook Pro，需要链接到的GPU集群是Linux系统。首先在本地命令行通过如下命令在本地设备生成秘钥对。ssh-keygen -t rsa然后console会让你输入存放秘钥的位置，不用输入任何东西直接回车即可放在默认位置。如果已经有了秘钥则会如下面所示，询问是否覆盖。如果没有生成过秘钥，则会直接完成生成。Generating
2021-03-15 16:40:54
702
1
原创 关于jieba自带tf-idf使用的经历
正在做的研究项目进行到一个关于数据的分析和处理阶段，需要对大量长度较短的文本进行提取关键词的操作。这里我提取关键词的想法其实是跟TF-IDF的机制略有出入的，因为在一个短文本中一个对我有用的词出现的次数不会很高，但我同时又希望它能在很多条文本中都出现，以此从而可以得到一些高频出现的关键词。TF-IDF词频(TF)=该词在文本中出现的次数文本中总词数词频(TF) = \frac{该词在文本中出...
2020-03-14 00:48:01
1601
原创 关于pytorch中使用多个gpu的踩雷记录
第一次使用CSDN来记录自己在学习过程中遇到的问题，本意只是做个记录，若是能帮到遇到相同问题的人那自然更好。佛系交流。目前所在学校的计算机系自己搭建了个GPU Farm，设备是GTX 1080 Ti的，看起来还算ok，但其实细究起来还挺鸡肋的。但是总对于数据量巨大的项目，还是需要跑代码吧，将就着用了。因为资源有限，分配到超过1个gpu需要排队，所以从来没尝试过使用多个gpu。最近由于数据量变大，...
2020-03-11 20:25:37
1439
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人