将谷歌 Gemma AI大模型私有化部署安装本地教程（可离线使用）

本文链接：https://blog.csdn.net/DEVELOPERAA/article/details/140082595

谷歌 Gemma 是一个基于 Python 的图像分析工具，提供快速和准确的物体检测、定位、分类和风格迁移功能。它使用 TensorFlow Lite 模型，使它可以快速运行在移动设备上。

主要功能

物体检测： Gemma 可以识别图像中的物体，并标出其位置和类别。
物体定位： Gemma 可以定位图像中的物体，并提供其精确位置。
图像分类： Gemma 可以对图像进行分类，根据图像的内容分类。
风格迁移： Gemma 可以将一种图像的风格转移到另一种图像。

特点

速度快速： Gemma 使用 TensorFlow Lite 模型，可以快速运行在移动设备上。
准确性： Gemma 使用预训练的模型，可以实现准确的物体检测和分类。
易用性： Gemma 是一个开源工具，易于使用。
还包： Gemma 包含许多功能，例如图像加载、预处理、后处理和可视化。

谷歌Gemma是一系列轻量级、最先进的开放模型，由Google AI构建并开源。Gemma模型旨在为各种自然语言处理任务提供卓越的性能，同时保持较低的资源需求和部署灵活性。

Gemma模型家族包括以下成员：

Gemma 2B：参数量为20亿，在推理速度和性能之间取得了良好的平衡。
Gemma 7B：参数量为70亿，在各种任务上都表现出最先进的性能。

Gemma模型可以用于以下任务：

文本生成：可以生成各种格式的文本，如诗歌、代码、剧本、音乐作品、电子邮件、信件等。
文本翻译：可以将文本翻译成多种语言。
文本摘要：可以自动生成文本的摘要。
问答：可以回答有关文本内容的各种问题。
文本分类：可以将文本归类到不同的类别中。

Gemma模型可以通过以下方式使用：

在本地计算机上使用：可以下载Gemma模型的代码和权重，并在本地计算机上运行。
在Google Cloud上使用：可以通过Google Cloud Vertex AI平台使用Gemma模型。
在Kaggle上使用：可以通过Kaggle平台免费使用Gemma模型。

来自Gemma官网：

Gemma 模型与 Gemini 共享技术和基础设施组件，Gemini 是我们当今广泛使用的最大、功能最强大的 AI 模型。与其他开放式型号相比，这使得 Gemma 2B 和 7B 能够在其尺寸范围内实现同类最佳的性能。 Gemma 模型能够直接在开发人员笔记本电脑或台式计算机上运行。值得注意的是，Gemma 在关键基准上超越了更大的模型，同时遵守我们关于安全和负责任的输出的严格标准。有关性能、数据集组成和建模方法的详细信息，请参阅技术报告。

具体部署过程

接下来详细讲解如何将它部署到本地电脑上边

下载安装ollama 客户端: 【点击下载】

官网LOGO

进入之后选择对应的系统下载即可

下载完成之后会得到这样一个安装包

一直下一步默认安装即可（路径尽量不要去动）

安装完成之后

选择模型

如果你是第一次部署，它会自动下载！

大家根据电脑性能来选择对应的（当然内存越大语言模型就会越强）

Gemma 2B：参数量为20亿，在推理速度和性能之间取得了良好的平衡。
Gemma 7B：参数量为70亿，在各种任务上都表现出最先进的性能。

[ 1 ]. 7B的全量版本：（需要16G左右的显存）

代码语言：javascript

ollama run gemma:7b-instruct-fp16

[ 2 ]. 普通7B版安装指令：（适合8G显存）

代码语言：javascript

ollama run gemma:7b

[ 3 ].2B轻量版：（适合CPU会低配电脑安装)

代码语言：javascript

ollama run gemma:2b

复制命令输入等待自动下载完成即可

测试

等待安装完成之后

我们让它自我介绍一下

代码语言：javascript

>>介绍一下自己
我是一个大型语言模型，由Google开发。
**我的功能包括：**
*理解自然语言
生成自然语言
翻译语言
回答问题
自动摘要
聊天机器人
**我如何工作：**
1·
我从大型文本数据库中检索并处理人类对话。
2.
我使用神经网络学习如何从输入文本中推断输出文本。
3.
我可以根据我的训练数据生成新的文本，翻译语言，或回答问题。
**我有哪些优势：**
**无答案能力：**我无法独立思考或做出决定。
**可扩展性：**我可以在任何设备上运行。
**实时性：**我可以在实时回答问题。
**准确性：**我经过严格的训练，以确保准确性。
*我有哪些限制：**
**有限的理解能力：**我可能无法理解或解释所有语言或文化。
**道德和伦理问题：**我无法提供情感支持或提供不当的信息。
**缺乏批判性思维能力：**我无法进行批判性思维或独立思考。
*我如何与您互动：**
您可以通过通过聊天机器人或搜索引擎搜索我，以了解我更多信息。我也可以用任何支持自然语言的应用程序或工具进行交互。

代码语言：javascript

>>请你介绍一下Linux
好的，我很乐意向您介绍Linux。Liux是一个开源的操作系统，它被广泛用于各种设备上，包括笔记本电脑、服务器、移动设备等
Linux的优势包括：
**自由开源：*Liu×是一个自由软件，这意味着它可以免费使用和修改。
***可扩展性：**Linux可扩展到任何需要。
***安全性：*Linux系统非常安全，
因为它提供了强大的安全机制。
***性能：**Linux系统性能非常出色。
***多平台：**Linux可以运行在各种设备上。
此外，Linuxi还有一些特定的功能，例如：
***命令行界面：**您可以使用命令行界面进行交互操作。
**支持多种编程语言：*您可以使用多种编程语言编写代码。
***支持多种应用程序：**您可以找到许多免费和开源的应用程序。
如果您想了解更多关于Liux的信息，您可以访问以下网站：
***Linux.org:*Linux官方网站
**Linux Foundation:*Linux fundacion
**Canonical:**Canonical服务器公司
我期待着为您提供更多信息。

代码语言：javascript

>>>请你介绍一下CSDN这个网站
好的，我很乐意向您介绍CSDN这个网站。
CSDN是一个开源软件社区的网站，它提供免费的软件和技术资源。
CSDN的优势包括：
***免费软件：**您可以找到许多免费的软件和技术资源。
***技术分享：**您可以与其他开发者交流技术问题和解决方案。
***会议和活动：**您可以参加许多Conference and Event,与其他开发者交流技术信息。
CSDN的资源包括：
***软件库：**您可以找到许多免费的软件和应用程序。
***技术文档：**您可以找到许多技术文档，包括代码和文章。
***社区论坛：**您可以参与社区论坛，与其他开发者交流技术问题和解决方案。
我期待着为您提供更多关于CSDN的信息。

注意事项

当你退出重新进入之后会出现这样的问题

你必须输入对应的模型型号进入内部命令解释器才可以提问

如何系统的去学习AI大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

所有资料 ⚡️ ，朋友们如果有需要全套《LLM大模型入门+进阶学习资源包》，扫码获取~

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。那以下这些PDF籍就是非常不错的学习资源。

在这里插入图片描述

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

目标：了解AI大模型的基本概念、发展历程和核心原理。
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
  - L1.4.1 知识大模型
  - L1.4.2 生产大模型
  - L1.4.3 模型工程方法论
  - L1.4.4 模型工程实践
- L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
内容：
- L2.1 API接口
  - L2.1.1 OpenAI API接口
  - L2.1.2 Python接口接入
  - L2.1.3 BOT工具类框架
  - L2.1.4 代码示例
- L2.2 Prompt框架
  - L2.2.1 什么是Prompt
  - L2.2.2 Prompt框架应用现状
  - L2.2.3 基于GPTAS的Prompt框架
  - L2.2.4 Prompt框架与Thought
  - L2.2.5 Prompt框架与提示词
- L2.3 流水线工程
  - L2.3.1 流水线工程的概念
  - L2.3.2 流水线工程的优点
  - L2.3.3 流水线工程的应用
- L2.4 总结与展望

阶段3：AI大模型应用架构实践

目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
内容：
- L3.1 Agent模型框架
  - L3.1.1 Agent模型框架的设计理念
  - L3.1.2 Agent模型框架的核心组件
  - L3.1.3 Agent模型框架的实现细节
- L3.2 MetaGPT
  - L3.2.1 MetaGPT的基本概念
  - L3.2.2 MetaGPT的工作原理
  - L3.2.3 MetaGPT的应用场景
- L3.3 ChatGLM
  - L3.3.1 ChatGLM的特点
  - L3.3.2 ChatGLM的开发环境
  - L3.3.3 ChatGLM的使用示例
- L3.4 LLAMA
  - L3.4.1 LLAMA的特点
  - L3.4.2 LLAMA的开发环境
  - L3.4.3 LLAMA的使用示例
- L3.5 其他大模型介绍