微调和推理plato的一些经验

1. 数据：充分利用数据，在数据处理的工作中将一段对话（ABABAB）切分成A B ABA B ABABA B的形式。

2.将数据做成batch的形式，共有3587条数据，将数据按照token ids进行升序排序，不断维护max_len,确保max_len * batch 的数量小于batch_size 。

3.模型结构

4. 为了避免生成的token为mask或者unk_token，将对应的索引的数值设置很小。

5. 对生成话的长度进行一定限制，我们的场景是chitchat，所以我们的min_len设置的很小0，如果是做别的事情，在没有到达min_len，eos的logits会相对更低。