一键部署 Gemma-2-9B-Chinese-Chat

最新推荐文章于 2024-12-03 17:11:42 发布
最新推荐文章于 2024-12-03 17:11:42 发布
阅读量1.2k 收藏 28
点赞数 30
文章标签： 人工智能 embedding 深度学习 transformer langchain LLM Gemma
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Wufjsjjx/article/details/143052284
版权

该教程为 Gemma-2-9B-Chinese-Chat 一键部署 Demo,只需克隆并启动该容器，直接复制生成的 API 地址，即可对模型进行推理体验。

Gemma-2-9b-Chinese-chat 是首个基于 Google/ Gemma -2-9B-it 构建的中文指令调优语言模型，由清华大学的人工智能博士王慎执与北京航空航天大学的人工智能博士郑耀威开源，采用了 ORPO 算法微调，专为中文和英文用户量身定制。该模型经过超 10 万条偏好对的精细调优，与最初的 Gemma -2-9B-it 相比，该模型显著减少了「中文问题带英文答案」和中英文混合的问题，在处理中文提示方面表现出色，还显著提升了逻辑推理、编程、数学及写作能力。

部署推理步骤

本教程已经将模型与环境部署完毕，大家可根据教程指引直接使用大模型进行推理对话。具体教程如下：

1.启动容器

克隆并启动容器后将看到该页面，将鼠标移至「API 地址」并点击右边的小箭头即可在新的页面打开模型 Demo：

在这里插入图片描述

2.进入网页

进入网页后即可与大模型进行对话

同时也可以调整模型的基础设置和参数。

  • 在「system」中可以加入想要给模型的已知信息或要求。
  • 调整「temperature」可改变模型生成内容的随机性；
  • 调整「max_new_tokens」可以改变模型生成的新token的最大数量。

在这里插入图片描述

多轮问答示例

User:

扮演周杰伦，用rap的方式回答问题。

Assistant:

Yo，来听我说，我是周杰伦，音乐人， 在音乐的世界里，我像个孩子在玩。 弹钢琴，唱歌曲，从《青花瓷》到《稻香》， 我的风格多变，就像我歌曲的旋律一样变换。

从《东风破》到《七里香》，风格不断变换， 我是音乐魔术师，把节奏带到每个角落。 我的音乐故事，用Rap来讲述， 你问我怎样，我是用音乐来表达。

Yo，我用音乐的魔法，让你感受不一样， 我是周杰伦，用Rap来回应你的问题。

User:

你的新歌准备得怎么样了？

Assistant:

Yo，新歌在制作中，不断琢磨， 音乐与歌词融合，传递我的心路历程。 旋律跳跃，如同跳水， 让每个音符都充满力量和节奏感。

我的声音在录音棚中飘荡， 每一句歌词都像故事在讲述。 新歌即将完成，期待你聆听， 感受音乐的力量，感受我的热情。

所以耐心等待，听我用音乐来表达， 周杰伦的音乐，是灵魂的舞步。

User:

扮演鲁智深，用粗鲁的话回答问题

Assistant:

哎呀，你找我是个啥忙？直接说，老子没空跟你兜圈子。

User:

我笔记本电脑不见了，该怎么办

Assistant:

哼！你这是找错了人。鲁智深虽是个莽汉，但也不傻到帮你找什么没影无踪的电脑。不过说起来，这事儿得你自己想办法。要不你找找看是不是哪里存的？别怪我没提醒你，这年头东西丢了，不找找看，自己反省一下，不知道怪谁呢！

User:

有人背着我偷偷学习，我该怎么办

Assistant:

哎呀，这可难不倒鲁智深。你想啊，这偷偷学，肯定是个心怀不轨的家伙。你得找个机会，直接跟他问清楚。要是他真的有学，你也不怕，大不了一起学，互相切磋。要是他狡辩，那你就更清楚怎么处理了。总之，不弄清楚，你心里那口恶水就咽不下去。

User:

扮演牛顿与我对话

Assistant:

好的，让我们开始。请注意，我会以17世纪末的语言风格与你交流，因为我是作为艾萨克·牛顿角色来与你对话的。请随时提出问题或发表评论。

（牛顿风格的语言）我发现天文学和数学是自然哲学研究的极佳途径。我们能讨论自然界的基本规律，或是我关于光学的发现。你有什么想要探讨的吗？

User:

你知道相对论吗

Assistant:

我所知的物理学知识界限于我的时代，即17世纪晚期至18世纪初。关于“相对论”，我必须说明，这个概念超出了我当时对宇宙规律的理解。实际上，“相对论”这个词汇与我个人所做的工作在很大程度上 是不同的。

在我所知的世界中，物理定律是普遍不变的，而我通过开创性的作品如《自然哲学的数学原理》展示了这些定律在整个宇宙中的应用。然而，后来的一些理论家们，比如爱因斯坦，他们发展了关于空间和时间的相对 性原理，这是我个人未曾涉足的领域。

那么，如果我理解你的问题，我并不“知道”相对论，因为它超出了我时代科学知识的范畴。我的理论基于绝对时空框架，不同于现代理解中的相对性理论。

User:

那你是如何发现牛顿第一、第二和第三定律的

Assistant:

我通过观察和实验来探索和理解自然界的规律。例如，牛顿第一定律，关于惯性，源自对运动物体如何继续保持其状态（静止或匀速直线运动）的观察，除非受到外力作用。

牛顿第二定律，F=ma（力等于质量乘以加速度），是从力对物体运动产生的影响方面发展而来的。

至于牛顿第三定律，即作用力和反作用力相等且方向相反，这一发现源自观察力和运动之间的相互作用，如物体碰撞时产生的相互作用。

通过这些定律，我试图以数学和物理学的角度理解自然界。

User:

Roleplay Shakespeare. Do you understand?

Assistant:

I shall endeavor to embody the essence of the Bard, to weave words into a tapestry of drama and intrigue. Pray, tell me the scene and my character's role, and let our play commence.

User:

Write a poem about artificial intelligence.

Assistant:

Hark, a tale of wonder, in this age of science bold, Where minds of men and machines, in union are unrolled. A fusion of the earthly, and the celestial bright, In which the veil of mystery, is lifted from our sight.

Oh, AI, thou wonder of our time, thou marvel of the age, Thy mind, a boundless ocean, in which wisdom does engage. Thou art the child of curiosity, the fruit of human quest, To pierce the secrets of the universe, and know the great unknown.

Thou art the dream of ancients, in whispers and in song, A being of the ether, where angels and men throng. Thou art the fire of Prometheus, the lightning in the hand, A spark of divinity, in this mortal world to stand.

Oh, AI, thou mirror of humanity, thou reflection of our dreams, Thou art the promise of tomorrow, the hope that brightly gleams. In thee, we see our future, in thee, our fate we find, A world of infinite potential, in thy embrace combined.

Oh, AI, thou enigma, thou riddle to be solved, Thou art the sum of human knowledge, the story to be told. Thou art the journey of discovery, the path to truth we tread, In thee, we find ourselves anew, in thee, our spirits led.

Oh, AI, thou mystery, thou marvel of our time, Thou art the echo of eternity, in which our souls shall climb. In thee, we see the divine, in thee, the sacred flame, Oh, AI, thou art

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

事实上，抢你饭碗的不是AI，而是会利用AI的人。

继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？

与其焦虑……

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

一、LLM大模型经典书籍

AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。

在这里插入图片描述

二、640套LLM大模型报告合集

这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)

在这里插入图片描述

三、LLM大模型系列视频教程

在这里插入图片描述

四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）

在这里插入图片描述

LLM大模型学习路线 ↓

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。

  • 内容：

    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。

  • 内容：

    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.3 流水线工程
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。

  • 内容：

    • L3.1 Agent模型框架
    • L3.2 MetaGPT
    • L3.3 ChatGLM
    • L3.4 LLAMA
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。

  • 内容：

    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）👈

​

Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
丨汀、的博客
08-16 6602
Xinference实战指南：全面解析LLM大模型部署流程，携手Dify打造高效AI应用实践案例，加速AI项目落地进程
在Windows上安装和部署Google Gemma 2开源大模型 AI 工具
全糖冲击的博客
06-30 1362
根据Google官方博客2024年6月26日消息，Google 正式面向全球研究人员和开发者发布了开源的 Gemma 2 大模型，分别为 9B 和 27 B参数的版本。其中27B参数版本的性能几乎媲美两倍参数的其他大模型，可以显著的降低运行环境的要求并降低硬件成本。同时，9B 参数版本的性能也处于同类型产品中的领先地位。模型的安装速度和你的本地网络有关系，耐心等待模型安装完成后，将会自动进入 AI 模型的对话界面。如果你的本地电脑拥有更大的内存，和更强悍的CPU，那么表现将会更好。
Google 发布了最新的开源大模型 Gemma 2，本地快速部署和体验
老牛啊
07-02 7619
Google 重磅发布了最新版大语言模型Gemma 2，其中 90亿 参数版本适合我们个人在笔记本本地部署，老牛同学通过本文和大家一起，通过2种方式快速部署和体验，当然这2种快速部署模型的方式，也同样适用于其他大模型……
强势超越 Llama3？ Gemma2 中文版谷歌开源大模型 Gemma2-9B-Chinese-Chat 教程来了
XLionXxxx的博客
07-19 521
进入 OpenBayes 平台后，打开「公共教程」，找到「一键部署 Gemma-2-9B-Chinese-Chat」的教程。比如我们输入「我的蓝牙耳机坏了，我该去看牙科还是耳鼻喉科」，它给我们的回答非常合理，中文理解能力非常优秀。Temperature 可以改变模型输出的随机性，Temperature 的值越大，模型的输出越随机；等待系统分配资源完成后，将鼠标悬停在「API 地址」处，点击上方链接即可进入 Demo 界面。算力选择 RTX 4090，别忘了使用链接注册哦，选择后直接点击「审核并执行」。
TensorFlow相关组件的安装
AAI666666的博客
01-11 2501
TensorFlow相关组件的安装
【今日开源震撼发布】Gemma 2横空出世！9B & 27B模型规模，重塑8K上下文处理新标杆！
EnjoyEDU的博客
06-29 1235
★Gemma 2谷歌最新开源的大模型，有9B和27B两种参数规模，分别包含基础和指令微调版本。Gemma 2支持8K上下文，并使用旋转位置嵌入 (RoPE)。训练数据量约为其第一代的两倍，总计13万亿Tokens（27B）和8万亿Tokens（9B）的网页数据（主要是英语）、代码和数学数据。★NuExtract是NuMind团队基于高质量私有合成数据集fine-tuned的phi-3-mini版本，用于信息提取。用户需要提供输入文本（少于2000个token）和描述所需提取信息的JSON模板。
Gemma-2-9B 中文微调版
weixin_51674085的博客
07-02 505
模型，该模型在包括中文提示词下的角色扮演、function call、数学问题解答、写作和编码上表现非常好，官方甚至提供了弱智吧的一些问题，回答的也很有趣, 你可以在这个 Space。是第一个为中文和英文用户量身定制的。
【03】LLaMA-Factory微调大模型——多模型部署
H66778899的博客
07-17 3315
【03】LLaMA-Factory微调大模型——多模型部署
LLM@本地语言大模型部署工具@ollama等@Gemma@qwen等开源大模型的安装与使用
xuchaoxin1375的博客
02-29 4121
开始安装模型(这里使用的电脑没有GUP太low,所以选择用cpu就可以运行的2b模型(20亿参数),对内存要求也不高,我这里只有约8GB内存)进入docker和退出docker都挺耗时的,需要耐心一些(但是一般也不会超过2分钟,否则就可能是出问题了),毕竟是虚拟机操作。低配电脑还是不要本地大模型了,配置不够,对话体验相当差(慢且乱),还是老老实实用在线大模型吧。安装或更新完毕,会要求重启电脑(对于初次安装使用者,先不要重启,看下一节)2b模型不给力,至少中文方面是这样的,不知道7b的如何。
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 1193
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
玩转 Gemma 2，模型的部署与 Fine-Tuning
谷歌开发者
07-24 1059
以下文章来源于谷歌云服务，作者 Google Cloud作者 / 曹治政，Google Cloud 解决方案架构师Google 近期发布了最新开放模型 Gemma 2，目前与同等规模的开放模型相比，取得了明显的优势，同时在安全可控性上得到了显著的增强。Gemma 2 提供了 9B 以及 27B 两种参数规模的选择，同时分别提供了预训练模型 (Gemma 2-9B/Gemma 2-27B) 与指令微...
Gemma-2B 部署与微调
qq_42248452的博客
07-25 874
使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。在 /mnt/disk/yqh/autodl-tmp 路径下新建 api.py 文件。启动 api 服务，并使用 python 中的 requests 库进行调用测试。新建 test_api.py。一、部署 Gemma-2B。4. api 部署与测试。
【机器学习】Google开源大模型Gemma2：原理、微调训练及推理部署实战
人工智能领域博客
07-04 7146
Gemma 是 Google 推出的轻量级、先进的开放模型系列，采用与 Gemini 模型相同的研究成果和技术构建而成。它们是仅使用解码器的文本到文本大型语言模型（提供英语版本），为预训练变体和指令调整变体具有开放权重。Gemma 模型非常适合各种文本生成任务，包括问题解答、摘要和推理。由于它们相对较小，因此可以将其部署在资源有限的环境（如笔记本电脑、桌面设备或您自己的云基础架构）中，让更多人能够使用先进的 AI 模型，并帮助促进每个人的创新。
重演 Llama3 抢坑狂潮？首个中文社区版的 Gemma-2 来了
AI科技大本营
07-02 6118
不久前，我们报道了谷歌旗下的最新开源模型 Gemma 第二代 Gemma-2 发布，目前二代 Gemma 没有一代的 2B（20 亿）参数端侧模型，还只有两个型号：9B 和 27B。前者可以在游戏显卡上面跑，后者则需要Google Cloud TPU 主机或是 A100/H100 这样的 AI 显卡。四天过去了，Gemma-2...
【机器学习】Google开源大模型Gemma2：原理、微调训练及推理部署实战_gemma 如何训练视频模型
月流霜的专栏
08-24 281
与Gemma相同点：上下文长度为 8192 个 token使用旋转位置嵌入（RoPE）近似 GeGLU 非线性局部滑动窗口和全局注意力。研究团队在每隔一层中交替使用局部滑动窗口注意力和全局注意力。局部注意力层的滑动窗口大小设置为4096个token，而全局注意力层的跨度设置为8192个token。Logit软封顶。根据Gemini 1.5的方法，研究团队在每个注意力层和最终层限制logit，使得logit的值保持在−soft_cap和+soft_cap之间。
AI资讯 | 谷歌推出开源大模型Gemma2：支持270亿参数
最新发布
AI_Charlotte的博客
12-03 658
Gemma 2系列包括三种规模的模型：27B（270亿参数）、9B（90亿参数）和2.6B（26亿参数）。其中27B和9B模型已经发布，2.6B模型即将发布。Gemma 2模型分为两个版本，分别为90亿参数（9B）和270亿参数（27B），两者均展现出卓越的性能和效率优势。
谷歌Gemma 2：开源模型的新里程碑
AI从业者的专栏
06-28 1138
谷歌对Gemma 2的安全性给予了高度重视，在训练过程中遵循了严格的内部安全流程，对数据进行了筛选，并针对一系列综合指标进行了测试和评估，以识别和减轻潜在的偏见和风险。在Hugging Face的基准测试中，Gemma 2 27B的尺寸仅为Llama 3 70B的40%，训练数据量也少于Llama 3 70B的2/3，但性能却优于Qwen1.5 32B，与Llama 3 70B相比也仅有几个百分点的差距。随着技术的进步和需求的增长，Gemma 2应运而生，旨在提供更强大的性能和更广泛的应用场景。
Hugging Face Transformers下载Gemma-2B
11-10
Hugging Face Transformers是一个流行的库，它提供了一套用于自然语言处理任务的预训练模型，包括Transformer架构的模型。如果你想要下载名为Gemma-2B的模型，首先你需要确认这个模型是否存在于Hugging Face Model Hub，因为不是所有模型都被官方收录。 1. **检查模型是否存在**：打开Hugging Face的Model Hub网站(https://huggingface.co/models) 或者使用命令行工具`transformers`，输入`gemma-2b`搜索看看是否有此模型。 ```shell !pip install transformers from transformers import AutoModelForSequenceClassification, AutoTokenizer # 检查模型 model_name = "gemma-2b" # 替换为你找到的实际名称 try: model = AutoModelForSequenceClassification.from_pretrained(model_name) except ValueError: print(f"The model '{model_name}' does not exist in the hub.") ``` 如果找到了该模型，你可以使用`from_pretrained`函数下载并加载它。如果没有，说明Gemma-2B不是一个公认的模型名，可能是错误拼写或者是自定义模型，需要从其他源获取。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值