Gemma: Open Models Based on Gemini Research and Technology

本文是LLM系列文章，针对《Gemma: Open Models Based on Gemini Research and Technology》的翻译。

摘要

这项工作介绍了Gemma，这是一个轻量级、最先进的开放模型家族，通过用于创建Gemini模型的研究和技术构建而成。Gemma模型在语言理解、推理和安全方面的学术基准测试中表现出了强大的性能。我们发布了两种大小的模型（20亿和70亿参数），并提供了预训练和微调的检查点。Gemma在18项基于文本的任务中有11项优于类似规模的开放模型，我们对模型的安全性和责任性进行了全面评估，并对模型开发进行了详细描述。我们认为，LLM的负责任发布对于提高前沿模型的安全性和实现下一波LLM创新至关重要。

引言

模型结构

训练结构

预训练

指令调整

从人类反馈中强化学习

评估