- 博客(2)
- 收藏
- 关注
RSS订阅原创 DataWhale大模型笔记
在这一段之前，我们已经从train.csv文件中，将数据集读取进来了，但是我们注意到这里只使用了第一列和第三列作为输入，将第五列作为输出。于是我们打开CSV文件，发现数据集的构成其实是由第0列（uuid），第1列（title），第二列（author)，第三列（abstract），第四列（keywords）组成。这个时候我发现第一次不修改参数结果模型中存了一个1000步的模型，于是又使用这个Lora模型去跑，发现最后跑出来上到0.8出头。（在150，300步时能到到0.97，0.99的结果）
2023-08-25 20:19:23
252
1
原创 DataWhale笔记
在依照TopLine的代码跑通流程以后，最终在测试集上取得了相当接近满分的结果。这一段出现在模型训练这一部分，主要是判断是否有已经训练好的模型，这里我重新调参完之后要重新训练模型。在后续保存模型之后，如果要重新装载模型，只需要直接加载best_model.ckpt就可以了。如果最终想要使用Bert模型成功的完成这项文本二分类的任务，则还需要在原来代码的基础上调整超参数。在Bert拿到1分后，我尝试微调chatglm-6B的模型，但是目前调参结果得分只有0.8左右，效果甚至不如Bert，所以目前还在调参。
2023-08-22 16:12:12
53
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人