一、项目背景
生僻字的fine-tune不能简单的使用几百个数据训练一下,这样会让之前学习到的忘掉。
怎么办呢,就只能加大数据量,在git上提了issue以后简单了解到了以下内容:
- 数据量要大 最少几百万条数据
- 对于生僻字的覆盖要均匀 每个字最少出现200次以上
- 场景尽量多样 可以做合成数据
于是我就用前面的博客写的生僻字数据集制作,简单做了40w数据。
我有两台2080,又没有办法把两个2080放在一个主板上,那么故事就开始了。
二、环境配置
- 首先要满足单机多卡或者单机单卡没有问题,这保证了你的paddle环境没有问题。
- 然后不同机器之间的代码、数据与运行命令或脚本需要保持一致。
- 所有主机要在相同的网段里面,最好连在1个路由器或者交换机上面,可以互相ping通。
上述要求都满足之后开始安装nccl,也是属于nvidia全家桶里面的一个东西。
下载地址: