cyk的博客

原创 NLP —— Hugging Face A full Training代码实现

tokenize_function接受的参数example通常是一个字典，truncation=True表示如果输入的句子长度超过模型允许的最大长度，分词器将截断句子。inputs_ids是句子的ID表示，attention_mask指示哪些 token 是实际输入(1)哪些是填充(0)（1）加载BERT模型，num_labels=2表示这是一个二分类任务我们可以对output的loss和logits形状进行输出得到如下结果：（3）下面我们做一系列准备，包括优化器、学习率调度器的设置等。