1 git 安装 + 与pycharm结合使用
服务器的:
>> git --version
git version 2.32.0
电脑上安装git:
git version 2.33.0.windows.2
查看状态:
git status
解压:
unzip -d /ceph/home/yangsc21/kaggle/data/food/ sigs-big-data-ml-exam.zip
踩坑:不可以用rar
格式的压缩包,这是Linux不是Windows
Linux 上使用 git:
git config --global user.name “YoungSeng”
git config --global user.email "..."
ssh-keygen -t rsa -C “...”
最后在github上添加公钥public-key即可
>> ssh -T git@github.com
Hi YoungSeng! You've successfully authenticated, but GitHub does not provide shell access.
git clone git@github.com:YoungSeng/SIGS_Big_Data_ML_Exam_2021.git
git add ...
git push origin master
2 Linux下安装torch
linux删除一个目录:
rm -r /test
安装torch
linux怎么看cuda版本?
>> nvcc --version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2021 NVIDIA Corporation
Built on Wed_Jun__2_19:15:15_PDT_2021
Cuda compilation tools, release 11.4, V11.4.48
Build cuda_11.4.r11.4/compiler.30033411_0
输入以下命令进行安装:
conda install pytorch torchvision torchaudio cudatoolkit=11.1 -c pytorch -c nvidia
下载太慢了!我们需要的是:
pytorch-1.9.1-py3.8_cuda11.1_cudnn8.0.5_0.tar.bz2 1.4 GiB 2021-09-15 01:21,下载链接
所以直接下载到本地pkgs
,cd
过去使用conda install
直接安装
以下为测试安装torch是否成功:
>> python kaggle.py
1.9.1
True
NVIDIA GeForce RTX 3080
3 大数据机器学习kaggle竞赛
查看服务器gpu占用情况
nvidia-smi
首先下载数据集并解压 ,共1.50 GB(别解压,上传到服务器只能是一个文件…还得再压缩一次)
上传到服务器,并解压
--------------------epoch: 298--------------------
Training start ...
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 138/138 [00:37<00:00, 3.67it/s]
Wait for validation ...
* Acc@1 26.370% Acc@5 35.215%.
* Best Prec@1: 26.865%
--------------------epoch: 299--------------------
Training start ...
100%|██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████| 138/138 [00:36<00:00, 3.78it/s]
Wait for validation ...
* Acc@1 26.502% Acc@5 35.347%.
* Best Prec@1: 26.865%
最后表现不好:
小结
- 基本在实验室的电脑上安装好了git,与pycharm结合使用上传到个人的库比较方便,但是不知道怎么上传到organization的github上,所以现在先回避不解决这个问题;
- torch的下载踩了一点坑,以后注意一下虚拟环境的使用;
- 实验室的电脑配合服务器显卡我觉得不太方便,以后还是把实验室电脑做成和服务器一样的环境吧,torch什么的也都安装上,但这都是后话了,目前提交成功就不管了~以后很久再说吧