Datawhale AI夏令营(大模型技术方向)
星火大模型驱动阅读理解题库构建挑战赛
测试成绩如下:
目前总排名第7:
收获如下:
- 刚开始训练,以为大家们跑的第一个baseline都不同的原因是 固定种子问题。并在群里进行了提问,最后明白原来是语言模型的输出概率问题。
- 解释了称Tranformer为语言模型的不严谨性,Tranformer只是语言模型的一种架构,类似于ResNet这种。
- 关于调参问题,我是采用二分法的问题进行调参,一开始设置一个较大的区间,看区间效果再慢慢折中,我感觉这种效率会快。(研究生期间导师教的)
展望:
希望未来可以冲榜首,但比起得分,更希望自己能够学习到有用的东西。