![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kaggle
文章平均质量分 96
HxShine
这个作者很懒,什么都没留下…
展开
-
kaggle大模型竞赛优胜方案总结与思考
比赛排行榜:总体上,RAG + LLM结合的模型可以在知识来源、检索方法、基座模型及其尺寸、是否需要微调等多个方面进行优化,针对本次比赛,对我收集到的一些方法进行对比,方便大家参考。RAG检索对于最终效果非常重要。包括不断优化检索数据质量,利用多种检索策略,基于传统方法(es,bm25,tfidf等),基于向量(开源方法,SimCSE训练),还可以通过ranker等方法筛选更好的结果都能带来不错的提升。如何有效的检索上下文知识,如何有效的处理长文本知识是难点,还有待进一步探索。原创 2023-10-17 08:54:35 · 666 阅读 · 0 评论 -
kaggle大模型竞赛优胜方案总结与思考
比赛排行榜:总体上,RAG + LLM结合的模型可以在知识来源、检索方法、基座模型及其尺寸、是否需要微调等多个方面进行优化,针对本次比赛,对我收集到的一些方法进行对比,方便大家参考。RAG检索对于最终效果非常重要。包括不断优化检索数据质量,利用多种检索策略,基于传统方法(es,bm25,tfidf等),基于向量(开源方法,SimCSE训练),还可以通过ranker等方法筛选更好的结果都能带来不错的提升。如何有效的检索上下文知识,如何有效的处理长文本知识是难点,还有待进一步探索。原创 2023-10-17 08:52:36 · 473 阅读 · 0 评论