1. 数据:充分利用数据,在数据处理的工作中将一段对话(ABABAB)切分成A B ABA B ABABA B的形式。
2.将数据做成batch的形式,共有3587条数据,将数据按照token ids进行升序排序,不断维护max_len,确保max_len * batch 的数量小于batch_size 。
3.模型结构
4. 为了避免生成的token为mask或者unk_token,将对应的索引的数值设置很小。
5. 对生成话的长度进行一定限制,我们的场景是chitchat,所以我们的min_len设置的很小0,如果是做别的事情,在没有到达min_len,eos的logits会相对更低。