谷歌Gemma 大模型部署搭建本地详细教程

AAI机器之心

于 2024-10-05 09:45:00 发布

阅读量378

点赞数 7

文章标签：人工智能 ai大模型自然语言处理 embedding 大模型

本文链接：https://blog.csdn.net/AAI666666/article/details/142649901

版权

————前言————

谷歌 Gemma 是一个基于 Python 的图像分析工具，提供快速和准确的物体检测、定位、分类和风格迁移功能。它使用 TensorFlow Lite 模型，使它可以快速运行在移动设备上。

在这里插入图片描述

主要功能

物体检测：Gemma 可以识别图像中的物体，并标出其位置和类别。物体定位：Gemma 可以定位图像中的物体，并提供其精确位置。图像分类：Gemma 可以对图像进行分类，根据图像的内容分类。风格迁移：Gemma 可以将一种图像的风格转移到另一种图像。

特点

速度快速：Gemma 使用 TensorFlow Lite 模型，可以快速运行在移动设备上。

准确性：Gemma 使用预训练的模型，可以实现准确的物体检测和分类。

易用性：Gemma 是一个开源工具，易于使用。

还包：Gemma 包含许多功能，例如图像加载、预处理、后处理和可视化。

谷歌Gemma是一系列轻量级、最先进的开放模型，由Google AI构建并开源。Gemma模型旨在为各种自然语言处理任务提供卓越的性能，同时保持较低的资源需求和部署灵活性。

Gemma模型家族包括以下成员：

Gemma 2B：参数量为20亿，在推理速度和性能之间取得了良好的平衡。

Gemma 7B：参数量为70亿，在各种任务上都表现出最先进的性能。

Gemma模型可以用于以下任务：

文本生成：可以生成各种格式的文本，如诗歌、代码、剧本、音乐作品、电子邮件、信件等。

文本翻译：可以将文本翻译成多种语言。

文本摘要：可以自动生成文本的摘要。

问答：可以回答有关文本内容的各种问题。

文本分类：可以将文本归类到不同的类别中。

Gemma模型可以通过以下方式使用：

在本地计算机上使用：可以下载Gemma模型的代码和权重，并在本地计算机上运行。

在Google Cloud上使用：可以通过Google Cloud Vertex AI平台使用Gemma模型。

在Kaggle上使用：可以通过Kaggle平台免费使用Gemma模型。

来自Gemma官网：

Gemma 模型与 Gemini 共享技术和基础设施组件，Gemini 是我们当今广泛使用的最大、功能最强大的 AI 模型。与其他开放式型号相比，这使得 Gemma 2B 和 7B 能够在其尺寸范围内实现同类最佳的性能。 Gemma 模型能够直接在开发人员笔记本电脑或台式计算机上运行。值得注意的是，Gemma 在关键基准上超越了更大的模型，同时遵守我们关于安全和负责任的输出的严格标准。有关性能、数据集组成和建模方法的详细信息，请参阅技术报告。

在这里插入图片描述

具体部署过程

接下来详细讲解如何将它部署到本地电脑上边

下载安装ollama 客户端: 【点击下载】

官网LOGO

在这里插入图片描述

进入之后选择对应的系统下载即可

在这里插入图片描述

一直下一步默认安装即可（路径尽量不要去动）

在这里插入图片描述

安装完成之后

在这里插入图片描述

选择模型

如果你是第一次部署，它会自动下载！

大家根据电脑性能来选择对应的（当然内存越大语言模型就会越强）

Gemma 2B：参数量为20亿，在推理速度和性能之间取得了良好的平衡。
Gemma 7B：参数量为70亿，在各种任务上都表现出最先进的性能。

[ 1 ]. 7B的全量版本：（需要16G左右的显存）

代码语言：js

ollama run gemma:7b-instruct-fp16

[ 2 ]. 普通7B版安装指令：（适合8G显存）

代码语言：js

ollama run gemma:7b

[ 3 ].2B轻量版：（适合CPU会低配电脑安装)

代码语言：js

ollama run gemma:2b

复制命令输入等待自动下载完成即可

在这里插入图片描述

测试

等待安装完成之后

我们让它自我介绍一下

介绍一下自己

我是一个大型语言模型，由Google开发。

我的功能包括：

理解自然语言

生成自然语言

翻译语言

回答问题

自动摘要

聊天机器人

我如何工作：

1·我从大型文本数据库中检索并处理人类对话。

2.我使用神经网络学习如何从输入文本中推断输出文本。

3.我可以根据我的训练数据生成新的文本，翻译语言，或回答问题。

我有哪些优势：

无答案能力： 我无法独立思考或做出决定。

可扩展性： 我可以在任何设备上运行。

实时性： 我可以在实时回答问题。

准确性： 我经过严格的训练，以确保准确性。

我有哪些限制：

有限的理解能力： 我可能无法理解或解释所有语言或文化。

道德和伦理问题： 我无法提供情感支持或提供不当的信息。

缺乏批判性思维能力： 我无法进行批判性思维或独立思考。

我如何与您互动：

您可以通过通过聊天机器人或搜索引擎搜索我，以了解我更多信息。我也可以用任何支持自然语言的应用程序或工具进行交互。

在这里插入图片描述

请你介绍一下Linux

好的，我很乐意向您介绍Linux。Liux是一个开源的操作系统，它被广泛用于各种设备上，包括笔记本电脑、服务器、移动设备等

Linux的优势包括：

自由开源： Liu×是一个自由软件，这意味着它可以免费使用和修改。

可扩展性： Linux可扩展到任何需要。

安全性： Linux系统非常安全，

因为它提供了强大的安全机制。

性能： Linux系统性能非常出色。

多平台： Linux可以运行在各种设备上。

此外，Linuxi还有一些特定的功能，例如：

命令行界面： 您可以使用命令行界面进行交互操作。

支持多种编程语言： 您可以使用多种编程语言编写代码。

支持多种应用程序： 您可以找到许多免费和开源的应用程序。

如果您想了解更多关于Liux的信息，您可以访问以下网站：

Linux.org: Linux官方网站

Linux Foundation: Linux fundacion

Canonical: Canonical服务器公司

我期待着为您提供更多信息。

在这里插入图片描述

注意事项

当你退出重新进入之后会出现这样的问题

在这里插入图片描述

你必须输入对应的模型型号进入内部命令解释器才可以提问

在这里插入图片描述

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望