（24-3-01）基于大模型的Python学习系统（Gemma+Langchain+FAISS）：基于Transformers的模型微调（1）

最新推荐文章于 2024-08-01 01:03:05 发布

码农三叔

最新推荐文章于 2024-08-01 01:03:05 发布

阅读量713

点赞数 25

分类专栏：《NLP算法实战》大模型从入门到实战(数据集、训练、微调、RAG、多模态) 文章标签： langchain 人工智能 python faiss 自然语言处理 NLP Transformers

本文链接：https://blog.csdn.net/asd343442/article/details/139323258

版权

大模型从入门到实战(数据集、训练、微调、RAG、多模态) 同时被 3 个专栏收录

175 篇文章 0 订阅 ¥39.90 ¥99.00

订阅专栏

超级会员免费看

《NLP算法实战》

127 篇文章 18 订阅

订阅专栏

Langchain+RAG入门、实操、实战

106 篇文章 0 订阅

订阅专栏

12.4 基于Transformers的模型微调

将原始的“问题-答案”数据集文件“Dataset_Python_Question_Answer.csv”转换为模型能够处理的提示格式，以便用于模型的训练和评估工作。

12.4.1 加载训练数据集并转换为模型提示

将原始的“问题-答案”数据集文件“Dataset_Python_Question_Answer.csv”转换为模型能够处理的提示格式，以便用于模型的训练和评估工作。

# 加载训练数据
filename = "input/dataset-python-question-answer/Dataset_Python_Question_Answer.csv"
# 从CSV文件中读取数据集，指定列名为"Question"和"Answer"，使用utf-8编码读取文件
df = pd.read_csv(filename, names=["Question", "Answer"], encoding="utf-8", encoding_errors="rep

了解本专栏

超级会员免费看

码农三叔

关注

25
点赞
踩
11

收藏

觉得还不错? 一键收藏
打赏
0
评论
（24-3-01）基于大模型的Python学习系统（Gemma+Langchain+FAISS）：基于Transformers的模型微调（1）

（2）划分数据集：使用train_test_split函数将数据集划分为训练集（X_train）和测试集（X_test），其中训练集包含150个样本，测试集包含100个样本。将原始的“问题-答案”数据集文件“Dataset_Python_Question_Answer.csv”转换为模型能够处理的提示格式，以便用于模型的训练和评估工作。将原始的“问题-答案”数据集文件“Dataset_Python_Question_Answer.csv”转换为模型能够处理的提示格式，以便用于模型的训练和评估工作。
复制链接

扫一扫