day 1:配置运行环境、熟悉baseline
- 配置pytorch-gpu环境
Driver Version: 440.64、ubuntu1804 、cuda 10.2
torch==1.6.0 torchvision==0.7.0
安装指令:
# 创建环境
conda create --name pytorch-1.6.0 python=3.6
# 下载pytorch-gpu
conda install torch==1.6.0 torchvision==0.7.0
day2-day5
跑通baseline+配置docker环境
1、跑通baseline
pytorch版baseline写得很清晰,只需要把generate_data里的打开csv文件加上uft-8编码:
再在环境里安装两个包,运行train.py就可以正常训练了。
pip install transformers
pip install sklearn
2、配置docker环境
2.1 ubuntu1804下docker环境的配置
在这个地方花了两、三天时间找了各种文档各种解决方案,但是还是没能在服务器上安装成功docker环境。下面记录一下,踩坑过程中遇到的一些写得比较好得安装方案(虽然没有安装成功)
菜鸟教程
官方安装文档
b站讲解docker配置
datawhale讲解安装docker
完全卸载干净docker
阿里云镜像使用方法
最后尝试各种方法仍然无法解决:(大坑)
然后记录一下常见得Ubuntu下得docker指令:
因为我的系统没有systemd,所以不能用systemctl指令,只能用service
service docker start
service docker stop
service docker restart
ps -aux | grep docker
service docker status
列举两种指令同样功能,不同的表达。
2.2 安装windows 下docker desktop(成功)
下载地址
下载之前先要看自己合适装什么版本,因为我是企业版,又是刚好是17134这版,所以直接点击下载安装就好。
2.2.1 使用docker desktop
找文件夹->改run.sh、dockerfile->登陆->创立镜像->tag->push
输入指令:
docker login --username=yourname registry.cn-shanghai.aliyuncs.com
docker build -t registry.cn-shanghai.aliyuncs.com/new_t/test_for_tianchi_submit:1.0 .
docker images
docker tag 01bd40142dce registry.cn-shanghai.aliyuncs.com/new_t/test_for_tianchi_submit:1.0
docker push registry.cn-shanghai.aliyuncs.com/new_t/test_for_tianchi_submit:1.0
3、提交结果:
一定注意填写用户名和密码(除非想无止境的waiting)
先写个草稿(溜了溜了,太困了)
最终提交:使用roberta预训练+attention+改变adam梯度下降方法为adagrad。
目前排名15