12.4 基于Transformers的模型微调
将原始的“问题-答案”数据集文件“Dataset_Python_Question_Answer.csv”转换为模型能够处理的提示格式,以便用于模型的训练和评估工作。
12.4.1 加载训练数据集并转换为模型提示
将原始的“问题-答案”数据集文件“Dataset_Python_Question_Answer.csv”转换为模型能够处理的提示格式,以便用于模型的训练和评估工作。
# 加载训练数据
filename = "input/dataset-python-question-answer/Dataset_Python_Question_Answer.csv"
# 从CSV文件中读取数据集,指定列名为"Question"和"Answer",使用utf-8编码读取文件
df = pd.read_csv(filename, names=["Question", "Answer"], encoding="utf-8", encoding_errors="rep