weixin_45923810的博客

本文通过设置两个大语言的下游任务Memorizing Task（记忆任务）和Reasoning Task（推理任务）来判模型是否对存储了知识的本体含义，而不是表面的记忆。逻辑推理任务通过对输入两条提示词，再要求模型进行预测，从而检测模型的逻辑推理能力。本论文的实验实在Bert和Roberta上进行，可以很好的实现屏蔽词预测任务。

论文一 BERT: Pre-training of Deep Bidirectional Transformers forLanguage UnderstandingBert原始论文预训练模型，预训练部分主要有两个任务；即Masked LM（遮蔽语言模型），Next Sentence Prediction（下一句预测）模型结构图原论文地址论文二 Deep Residual Learning for Image Recognition（ResNet）Resnet原文引入残差学习的思想，

此报错同样可使用指定np数组类型。