m0_73060771的博客

原创 BERT实战1:单词匹配

第一个阶段叫做：Pre-training，通过大规模无监督预料训练获得的模型，可以获取文本动态字符级语义embedding，简单地可以视为加强版的字符级word2vec。第二个阶段叫做：Fine-tuning，利用预训练好的语言模型，完成具体的NLP下游任务，NLP下游任务下游任务多种多样。train_data = data_path + "test1.csv" # 训练数据集路径。valid_data = data_path + "test2.csv" # 验证数据集路径。# 定义 Dataset。