Datawhale AI夏令营 大模型（微调）Task01

这次这个Task与以往有些不同，通过调节外部参数prompt和扩充数据来提高预测得分的大模型微调任务。

此次任务最大的不同是不在修改代码去提高程序预测准确性，所以这次对大模型的训练的难点在与大模型所需的prompt与数据量上。

下面是跟着教程做的一些步骤。

1.首先是报名赛事。由于参加过第二期的学习，所以赛事报名已经实名过，直接点击报名就好。

2.完成报名后，即可到星火网站完成代码运行来拿到数据集。起初以为是通过调节训练次数和学习率来提高得分，所以没有调节prompt，得分却越来越低。通过昨天晚上的讲解学习到，提升本次大模型得分的关键在于改进prompt和扩充数据和数据增强。所以，今天和昨天通过调节prompt来对比得分。

下表为不同prompt与得分对比。

表1：prompt与得分对比

中文promp	英文prompt	得分
(1)理解文中重要概念的含义  (2)理解文中重要句子的含意  (3)分析论点、论据和论证方法	(1)Understanding the main idea of the main idea. (2)Understand the specific information in the text. (3)infering the meaning of words and phrases from the context	54.2
(1)理解文中重要概念的含义  (2)理解文中重要句子的含意  (3)分析论点、论据和论证方法  (4)比较和对比文中不同观点的优劣。  (5)应用文中的理论或概念到具体情境或例子中。  (6)讨论作者的写作风格对理解内容的影响。  (7)评估论据的有效性以及其支持论点的程度。	(1)Understanding the main idea of the main idea.     (2)Understand the specific information in the text.     (3)infering the meaning of words and phrases from the context     (4)Analyze how the structure of the text contributes to its meaning.     (5)Explain how specific examples in the text support the main idea.     (6)Predict possible outcomes based on information given in the text.     (7)Evaluate the author's purpose and effectiveness in achieving it through the text.     (8)Identify and interpret figurative language used by the author.     (9)Discuss the perspective or bias of the author in presenting information.     (10)Summarize key points and their implications as presented in the text.	58.2
(1)理解文中重要概念的含义 (2)理解文中重要句子的含意 (3)分析论点、论据和论证方法 (4)请概述文章的结构布局，包括引言、主体和结尾部分。分析这种结构如何帮助作者有效地传达其观点和论据 (5)文中作者采用了特定的语言风格来表达其思想。请识别并描述这种风格，并讨论它对读者理解文章内容的影响 (6)分析作者在文中表达的情感态度，包括其对主题的喜好、厌恶、赞赏或批评等。请提供文中的具体证据来支持你的分析 (7)考虑文中提到的文化元素或背景，讨论这些元素如何影响作者的观点和论证。请提供文中的相关引用，并解释它们在文中的作用 (8)基于文中的论点和论据，推断作者写作本文的主要意图。请结合文本内容和可能的社会、历史背景来支持你的推断 (9)在评价作者的论点时，运用批判性思维来分析其潜在的假设和前提。请指出任何可能的逻辑谬误或论证上的弱点，并提出可能的反驳点	(1)A question that prompts students to pinpoint the central theme or argument of the provided text. (2)A question that requires students to recall and interpret specific details from the text. (3)A question that challenges students to infer the meaning of new or complex vocabulary from the surrounding context. (4)A question that encourages students to analyze how the text's structure enhances its meaning and impact. (5)A question that assesses students' ability to identify examples that reinforce the main ideas. (6)A question that invites students to make logical predictions based on the information presented in the text. (7)A question that asks students to evaluate the author's purpose and the effectiveness of the text in achieving that purpose. (8)A question that tests students' understanding of figurative language used by the author and its impact on the text. (9)A question that explores the author's perspective or potential bias and how it shapes the presentation of information. (10)A summarization task that requires students to encapsulate key points and discuss their wider implications.	60.5

得分图如下图所示：

我们在保持训练代数为10，学习率为0.00008,由上1表可知，改进的prompt对于大模型的得分是有改进的。这里就很伤心，看群里的同学按照教程做出来的成绩是70多，说也没有改任何参数，就能得到，而且每个人运行后的得分都不一样。昨天的大佬讲解说此次的得分由大模型得出，所以不一样。不知道为啥差距好大。后续出了提分教程一定要学习一下。

下表2为运行的两个可改变的参数学习率和训练参数改变后的得分对比。这个参数改进都是基于最基础的第一个prompt进行的。

表2：参数改进得分对比

学习率	训练次数	得分
0.00008	10	54.2
0.00008	15	53.7
0.00008	20	53.9
0.00001	10	44.2
0.0001	10	51.2

由上表可知，本次的大模型，增大训练次数与改变学习率，没有大的成绩提高。所以后续中心放在改进prompt与数据增强上。

教程中所述方法很详细我不再阐述，希望后续能再学习数据扩充与prompt改进来提高分数。