项目实训（三十五）——大语言模型的数据集处理

一、数据清洗

好的数据集肯定是离不开一定的数据处理、清洗的，我们首先要对我们爬取的数据进行一定的数据清洗。

如删除重复数据等。

二、转化为微调时可以处理的格式

这里我们的大语言模型的微调主要是用的json格式的数据集进行的微调。

所以我们还应对把数据集转换成json格式。

转换成json格式后，我们的数据集就可以保存起来等待我们最终进行微调的时候使用。