通过Ollama 使用Gemma 模型

---

theme: github

Gemma 模型的出身

要运行Gemma模型，需要将ollama版本升级到>0.1.26，通过运行ollama的安装。

由于Gemma模型(2b和7b)的大小，其质量将严重依赖于训练数据。从kaggle参考中我们可以读到，它们是在6万亿个令牌上训练的，包括：

• 网络文档：多样化的网络文本确保模型接触到广泛的语言风格、主题和词汇。主要是英语内容。
• 代码：让模型接触代码有助于其学习编程语言的语法和模式，从而提高其生成代码或理解代码相关问题的能力。
• 数学：在数学文本上进行训练有助于模型学习逻辑推理、符号表示，并解决数学查询。

信息检索的使用案例

由于ollama为在本地计算资源上运行LLM提供了一个方便的框架。私人LLM的一个使用案例是根据提供的文档回答问题。

为了使用Gemma 7bn模型执行此任务，需要下载模型的指示版本，这种情况下是从ollama：

``` ollama run gemma

```

模型的其他版本可以从Gemma的标签列表中下载。

在与Mixtral进行此任务的比较中，模型的限制变得可见。这当然是由于70b对7b参数模型的不公平比较。然而，当Gemma 7b模型被用来从文档中检索信息时，它仍然可以执行较简单的搜索任务(检索信息片段，如值或日期)，但无法从文档中总结部分，其中它只是声明文档不包含请求的信息。

限制和最佳实践

Gamma在文档信息检索上的行为突显了限制：