openi启智社区上传大文件数据集和模型的方法

openi上传方法具体参考这里：OpenI

1、首先在本地将模型打包：

tar -czvf glm3_6b.ckpt.tar.gz glm3_6b.ckpt tokenizer.model 
a glm3_6b.ckpt
a tokenizer.model

以前是只能发送tar包，现在不知道是否可以直接发ckpt的模型文件。

 

2、去这里创建一个token，这个token只有创建的时候能看到：Sign In - OpenI - 启智AI开源社区提供普惠算力！

3、然后在本机pip安装openi

pip install -U openi -i https://pypi.tuna.tsinghua.edu.cn/simple

4、openi将token存在本地

openi login --token 6d7cb82bba74853561b7725b6cf5e7aefa31f6d7

5、在本地使用openi上传大文件

# 创建模型repo，比如自己用户名test，模型repo叫glm，模型名字叫glm_model
openi model upload test/glm glm_model glm3_6b.ckpt.tar.gz

很快，半个多小时就能传完！

⬆️ glm3_6b.ckpt.tar.gz:  34%|▎| 3.00G/8.95G [11:11<21:31, 4.95MB/s]]