[Datawhale AI 夏令营]多模态大模型数据合成赛事-Task2

简单按照datawhale给的task2的文档学习了一下,主要还是学习了Data-Juicer相关的知识。

1.Data-juicer 初探

简单理解一下，Data juicer就是提供给你许多数据处理方法，包括Formatter、Mapper、Filter、Deduplicator和Selector，涉及图像、文本、声音以及多模态数据，通过组合这些方法实现不同的数据处理增强pipline，最终实现高质量的数据的产出。
可以看到这个工具与我们的赛题是非常契合的，因此比赛官方也是推荐使用这个工具来实现数据增强方法。下面提供了一些多模态相关的方法，比如Task1中的dj菜单中就用到了image_captioning_mapper方法。

算子	描述
image_captioning_from_gpt4v_mapper	基于gpt-4-vision和图像生成文本
image_captioning_mapper	生成样本，其标题是根据另一个辅助模型（例如 blip2）和原始样本中的图形生成的。
image_diffusion_mapper	用stable diffusion生成图像，对图像进行增强
video_captioning_from_frames_mapper	生成样本，其标题是基于一个文字生成图片的模型和原始样本视频中指定帧的图像。不同帧产出的标题会拼接为一条单独的字符串。
image_text_matching_filter	保留图像-文本的分类匹配分(基于BLIP模型)在指定范围内的样本
image_text_similarity_filter	保留图像-文本的特征余弦相似度(基于CLIP模型)在指定范围内的样本
phrase_grounding_recall_filter	保留从文本中提取的名词短语在图像中的定位召回率在一定范围内的样本
video_frames_text_similarity_filter	保留视频中指定帧的图像-文本的特征余弦相似度(基于CLIP模型)在指定范围内的样本

除此之外还有一些数据清洗的方法，比如

算子	描述
fix_unicode_mapper	修复损坏的 Unicode 字符
nlpcda_zh_mapper	使用 nlpcda 库对中文文本进行简单增强
image_text_similarity_filter	filter samples according to the similarity between text and images
DJ提供了相当多的算子，大家可以都去尝试一下，看看效果。

2.Data-juicer 配置改进

在官方提供的配置基础上添加了，去重流程的改进后，最终的评测分数得到了小幅度的提升来到了0.8，初步验证了流程和方法的有效性。
旧：

新：

更多的可能只能大家自己去探索了

问题：

在使用DJ的算子的时候碰到了一个网络问题，无法自动下载需要的模型，只能手动从HF上下载到本地，使用了如下的代码

from huggingface_hub import snapshot_download
snapshot_download(repo_id="openai/clip-vit-base-patch32",
                  cache_dir="../better_synth_challenge_baseline/models",
                  token='hf_xxxxxx')

注意看是否需要token，去HF的个人界面创建一个token