Max78000 参赛记录

ai8x-training 训练模型

参考 https://github.com/MaximIntegratedAI/ai8x-training
各种无法访问下载可能需要梯子

训练推荐用 Autodl

在 autodl 学术加速仅 github

预处理被Killed，内存不足

https://blog.csdn.net/weixin_45579994/article/details/112386425

source /etc/network_turbo#开启
unset http_proxy && unset https_proxy#关闭

使用 conda 更方便，不用 pyenv

本地搭建环境

win11 安装 wsl

从 windows store 安装 Ubuntu20

安装基础依赖

打开 cmd，输入 bash，进入 ubuntu

sudo apt-get update #先更新

sudo apt-get install -y make build-essential libssl-dev zlib1g-dev libbz2-dev libreadline-dev libsqlite3-dev wget curl llvm libncurses5-dev libncursesw5-dev xz-utils tk-dev libffi-dev liblzma-dev libsndfile-dev portaudio19-dev

安装 pyenv

github 源不稳定换 gitee 源

curl -L https://gitee.com/jordanxu/pyenv-installer/raw/master/bin/pyenv-installer | bash

修改~/.bashrc

根据提示修改，用 vim 打开并且加入以下代码保存

# WSL2
export PYENV_ROOT="$HOME/.pyenv"
export PATH="$PYENV_ROOT/bin:$PATH"
eval "$(pyenv init --path)"
eval "$(pyenv virtualenv-init -)"

安装 python3.8.11

先重启终端

pyenv install 3.8.11

配置 git 参数

git config --global user.email "first.last@example.com"
git config --global user.name "First Last"

clone 项目

$ cd <your/project>
$ git clone -b develop --recursive https://github.com/MaximIntegratedAI/ai8x-training.git
$ git clone -b develop --recursive https://github.com/MaximIntegratedAI/ai8x-synthesis.git

develop 分支是最新的，master 分支是稳定版

创建 venv

cd ai8x-training
pyenv local 3.8.11
python --version #确认版本
python -m venv venv --prompt ai8x-training #创建环境
source venv/bin/activate #激活环境

安装依赖

pip3 install -U pip wheel setuptools
#有cuda11且wsl安装以下依赖
pip3 install -r requirements-cu11.txt

（可选）少量更新

更新 python 和 pytorch 版本建议重新 git clone

(ai8x-training) $ git pull
(ai8x-training) $ git submodule update --init
(ai8x-training) $ pip3 install -U pip setuptools
(ai8x-training) $ pip3 install -U -r requirements.txt  # or requirements-xxx.txt, as shown above

创建 ai8x-synthesis 虚拟环境

deactivate
cd <your/project>
cd ai8x-synthesis
pyenv local 3.8.11
python --version
python -m venv venv --prompt ai8x-synthesis
source venv/bin/activate
pip3 install -U pip setuptools
pip3 install -r requirements.txt