m0_69868172的博客

原创 PaliGemma详解！

PaliGemma 是一个基于 SigLIP-So400m （SoViT-400m 架构：SoViT-400m 是一种形状优化的 Vision Transformer 架构，其结构参数经过试验测试得到。具体来说，该模型的宽度为 1152，深度为 27，MLP 维度为 4304。这种架构设计使得模型在保持较小规模的同时，能够达到与更大模型相当的性能。Sigmoid损失函数。