Datawhale AI夏令营第四期大模型技术（微调）方向 task03初学者笔记

一、基础操作：
1、数据增强思路：
数据增强为了补充一些数据，一方面是在先前生成的结果上做一些优化，一方面可以再生成一些补充数据以作增强。

2、使用大模型完成答案生成：
prompt设计：
给出主要需求：
你是一个高考英语阅读题出题专家，请阅读材料，需要参考参考内容 按照要求将题目、选项、答案对其补充完整。

接着给出参考材料：

###阅读材料

{reading}

后给出具体要求：
###要求

1.需要将序号对应的题目与答案做匹配。
2.匹配后格式按照问题、ABCD四个选项顺序、答案的结构组合，按照参考内容格式输出。
3.如果选择题目数量不够四个请根据阅读材料及出题思路再生成题目，总题目达到四个。
4.题目中不能出现任何不合理的词汇、语法错误。
5.如果有简答题目与答案请忽略这部分内容，只处理选择题目。接着给出参考内容：

接着给出参考内容：
{cankao_content}
 

cankao_content = '''
1. 以下哪个选项是“具身认知”的定义？
A. 认知在功能上的独立性、离身性构成了两种理论的基础。
B. 认知在很大程度上是依赖于身体的。
C. 认知的本质就是计算。
D. 认知和心智根本就不存在。

答案：B

2. 以下哪个实验支持了“具身认知”的假设？
A. 一个关于耳机舒适度的测试。
B. 一个关于眼睛疲劳程度的测试。
C. 一个关于人类感知能力的实验。
D. 一个关于人类记忆力的实验。

答案：A

3. 以下哪个选项是“离身认知”的教育观的特点？
A. 教育仅仅是心智能力的培养和训练，思维、记忆和学习等心智过程同身体无关。
B. 教育观认为身体仅仅是一个“容器”，是一个把心智带到课堂的“载体”。
C. 教育观认为知识经验的获得在很大程度上依赖于我们身体的体验性。
D. 教育观认为知识经验的获得在很大程度上依赖于我们大脑的记忆能力。

答案：A

4. 以下哪个选项是“具身认知”带来的教育理念和学习理念的变化？
A. 更强调全身心投入的主动体验式学习。
B. 更注重操作性的体验课堂，在教学过程中将学生的身体充分调动起来，这在教授抽象的概念知识时尤为重要。
C. 更强调教师的教学方法和学生的学习方法。
D. 更注重教师的教学技巧和学生的学习技巧。

答案：A'''

最后给出题目和答案
 

def get_adddata_prompt_zero(reading, cankao_content, question, answer):
    prompt = f'''你是一个高考英语阅读题出题专家，请阅读材料，需要参考参考内容 按照要求将题目、选项、答案对其补充完整。

###阅读材料
{reading}

###要求
1.需要将序号对应的题目与答案做匹配。
2.匹配后格式按照问题、ABCD四个选项顺序、答案的结构组合，按照参考内容格式输出。
3.如果选择题目数量不够四个请根据阅读材料及出题思路再生成题目，总题目达到四个。
4.题目中不能出现任何不合理的词汇、语法错误。
5.如果有简答题目与答案请忽略这部分内容，只处理选择题目。

###参考内容
{cankao_content}

###题目
{question}

###答案
{answer}
'''
    return prompt

二、结果评分：
大模型评分：大模型目前可以弥补一些人类评分的痛点，提升评分效率。掌握这个方法对日后完成评价类任务有很大帮助。评分技术不光用在agent设计，还可以优化推荐算法等等，帮你提升算法质量。

1、人类评分的痛点：
<1>主观性和不一致：不同评分者可能因个人标准和偏见导致评分不一致。
<2>时间和资源密集：手动评分耗时且需要大量人力资源，限制了评分任务的可扩展性和效率。<3>疲劳和认知限制：评分者易受疲劳和认知限制影响，影响评分质量和一致性。
<4>缺乏细致反馈：难以提供针对绩效特定方面的详细反馈。

2、AI在评分方面的优势：
<1>一致性和标准化：LLMs通过训练和微调，确保评分的一致性。
<2>效率和可扩展性：AI系统能快速处理大量数据，提高评分效率。
<3>客观性和公正性：减少人类主观性和偏见，促进公平。
<4>细致且可操作的反馈：提供针对绩效各方面的详细反馈。