Gemma模型一些细节讲解

最新推荐文章于 2024-07-29 14:15:02 发布
最新推荐文章于 2024-07-29 14:15:02 发布
阅读量636 收藏 9
点赞数 12
文章标签： 深度学习 pytorch 人工智能 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43013480/article/details/136458334
版权

Gemma模型报告中提到的几个点进行代码细节解读一下：
（1）Embedding层共享参数
（2）输入输出层均进行RMSNorm

Embedding层共享参数

共享embedding的权重给最后的llm_head层。是词嵌入层的共享，与旋转位置编码无任何关系。早期BERT、GPT等都使用了此操作。代码实现也非常简单，即nn.parameters定义weight，使用F.embedding,最后llm_head层传入weight参数。
Gemma源码中主要是下面这一段：
在这里插入图片描述

如下图所示，上面是不共享参数的流程，下面是共享参数的流程：
在这里插入图片描述

输入输出层均进行RMSNorm

也很简单，流程图如下，其实这种做法是现在公认的了，LLAMA中也是两次RMSNorm。
在这里插入图片描述
源码中主要是下面部分：
在这里插入图片描述

淡水，
关注
  • 12
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用Ollama本地部署gemma
06-04
部署Gemma模型（或任何其他模型）使用Ollama框架通常涉及以下关键步骤：设置环境、获取模型、配置Ollama、运行Ollama服务等。
Gemma模型论文详解（附源码）
分享机器学习、深度学习、分布式计算、MLSys相关领域知识
02-23 3376
Gemma模型是在2023.2.21号Google新发布的大语言模型, Gemma复用了Gemini相同的技术(Gemini也是Google发布的多模态模型)，Gemma这次发布了了2B和7B两个版本的参数，不仅提供了预训练的checkpoints，还提供了用于对话、指令跟随等fine-tune的checkpoints。
2024年Go最全google最新大语言模型gemma本地化部署_gemma 要求，2024年最新Golang知识体系大纲
2401_84925284的博客
05-17 420
通俗来说，2b及精简小巧，覆盖了现代流行的语言，对硬件依赖小。7b是常规型的，要有的基本都有了，硬件上最低需要8gb内存（显存）。我的硬件环境是虚拟机环境，40hx显卡直通，linux系统，远程访问。然后等待安装完成，安装完成后，执行 ollama run gemma:2b 或者 ollama run gemma:7b 等模型下载完毕后，就进入字符界面，你就可以跟机器交流了。与同类大语言模型对比，它不仅对硬件的依赖更小，性能却更高。虚拟机安装，这边需要注意的是，显卡必须直通，CPU必须在主机直通模式。
google最新大语言模型gemma本地化部署
German2000的博客
02-29 1745
ollama为了保持各种模型的兼容性，这二项参数上留得很保守，在Gemma与40hx这样的适配上，可适当增加。然后运行 sudo docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main。按ctrl-d可退出。
LM+Embedding构建问答系统的局限性及优化方案
张伟的专栏
07-09 971
首当其冲的是：多知识点聚合处理场景下，Embedding-Search召回精度较低的问题。一个仓库有 N 条记录，每个记录有 M 个属性；用户希望对 x 条记录的y 个属性进行查询、对比、统计等处理。# 多知识点——简单查询Q: 皮蓬、英格利什和布兰德的身高、体重各是多少？# 多知识点——筛选过滤Q: 皮蓬、英格利什和布兰德谁的第一位置是 PF？# 多知识点——求最值Q: 皮蓬、英格利什和布兰德谁的金徽章数最多？LLM 的出现，推动下游应用激烈变革，各种探索如火如荼地展开。
Gemma-基于Pytorch实现Gemma文本生成大模型-附项目源码+流程教程-优质项目实战.zip
05-26
Gemma_基于Pytorch实现Gemma文本生成大模型_附项目源码+流程教程_优质项目实战
让天下没有难Tuning的大模型-PEFT（参数效率微调）技术简介
人工智能曾小健
06-20 385
让天下没有难Tuning的大模型-PEFT技术简介》最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
谷歌Gemma 大模型 部署搭建本地详细教程
2401_85324918的博客
05-29 730
谷歌 Gemma 是一个基于 Python 的图像分析工具，提供快速和准确的物体检测、定位、分类和风格迁移功能。它使用 TensorFlow Lite 模型，使它可以快速运行在移动设备上。主要功能物体检测：Gemma 可以识别图像中的物体，并标出其位置和类别。物体定位：Gemma 可以定位图像中的物体，并提供其精确位置。图像分类：Gemma 可以对图像进行分类，根据图像的内容分类。风格迁移：Gemma 可以将一种图像的风格转移到另一种图像。
自主部署和运行大语言模型Llama3的5种方法
aolan123的博客
05-29 1253
Meta 最近发布了Llama 3，这是其开源大型语言模型（LLM）的最新和最强大的版本。Llama3包括两个版本：Llama 3 8B（含80亿个参数）和 Llama 3 70B（含700亿个参数），这两个版本都有基础和指令调整变体。与Llama 2相比，Llama 3模型降低了错误拒绝率，提供了双倍的上下文长度，具有 8K 标记上下文窗口。Llama 3 模型的训练数据比 Llama 2 多出约 8 倍，在24000个GPU卡上，使用了超过 15 万亿个token的新的公开在线数据组合。
大模型参数高效微调（PEFT）技术解析及微调加速实践
chenxyuan1tuo的博客
06-17 798
本文详细介绍了几种高效微调方法的原理解析和实验效果对比，并基于Unsloth做了一些微调加速的实践尝试。实验效果显示结合优秀的低参微调方法和微调加速，完全可以做到极为高效的微调大模型，可以在极低的资源占用上得到媲美全参微调的效果。读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用如果你是零基础小白，想快速入门大模型是可以考虑的。一方面是学习时间相对较短，学习内容更全面更集中。二方面是可以根据这些资料规划好学习计划和方向。
Google开源大模型gemma技术报告
03-10
Google 最新发布的开源大模型 Gemma 技术报告详细介绍了这一创新成果。Gemma 基于 Google 的 Gemini 模型，通过在高达 6 万亿词块的文本上进行训练，展现了卓越的通用性和先进的理解与推理能力。该模型系列包括两种...
Teoria GEMMA_GEMMA_
10-01
标题 "Teoria GEMMA_GEMMA_" 指向的是关于GEMMA理论的深入探讨，这可能是一个关于GEMMA（Generic Educational Management and Modeling Methodology）的自动化与机器人技术的指南。GEMMA是一种通用的教育管理与建模...
Python_google Gemma模型的官方PyTorch实现.zip
05-24
标题中的“Python_google Gemma模型的官方PyTorch实现”指的是Google开发的一种基于PyTorch的深度学习模型，名为Gemma。Gemma模型通常用于处理生物学数据，特别是基因表达数据分析，旨在帮助科研人员理解基因之间的...
《AI大模型》--使用nextjs本地化部署AI大模型gemma.zip
03-22
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ ...
超简单，手把手教你在本地运行Llama 3大模型
aolan123的博客
05-29 1098
Ollama是一款开源工具，专为在本地计算机上运行像Llama 3这样的大型语言模型而设计。随着AI技术的进步，现代的大型语言模型已经摆脱了对庞大虚拟内存、计算资源和存储空间的依赖，转而优化以适应笔记本电脑等更轻便的设备。在众多支持本地部署大型语言模型的工具和框架中，Ollama的设置流程和使用最为简单。用户可以直接通过终端或Powershell快速启用LLMs，无需复杂配置即可立即投入应用。Ollama的最大优势在于其强大的兼容性和集成能力。
大模型落地实战指南：从选择到训练，深度解析显卡选型、模型训练技、模型选择巧及AI未来展望
最新发布
Everly_的博客
07-29 417
早期阶段（1950s~1980s）在1950年代初期，人们开始尝试使用计算机处理自然语言文本。然而，由于当时的计算机处理能力非常有限，很难处理自然语言中的复杂语法和语义。随着技术的发展，自然语言处理领域在20世纪60年代和70年代取得了一些重要的进展。例如，1970年，美国宾夕法尼亚大学的Adele Goldberg和David Robson创建了一个名为Lunenfeld Project的系统，它可以进行自动翻译。
16现代循环神经网络—深度循环与双向循环
kaszxc的博客
07-22 499
深度循环神经网络使用多个隐藏层来获得更多的非线性性GRU、RNN、LSTM 在结构上都是相同的，只是隐状态 H 的计算方式有区别，所以它们加深神经网络的原理都是相同的在深度循环神经网络中，隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步存在许多不同风格的深度循环神经网络，如长短期记忆网络、门控循环单元或经典循环神经网络深度循环神经网络需要大量的调参（如学习率和修剪）来确保合适的收敛，模型的初始化也需要谨慎双向循环神经网络通过反向更新的隐藏层来利用方向时间信息。
【深度学习】决策树的引入与应用
qq_73301283的博客
07-25 986
在线性模型中，对于一个拥有i个属性的数据集我们通过构造yWXWwb∗Xx1​;x2​;...;xi​根据均方方差最小化或者对数几率最大化来进行线性回归或者对数几率回归来确定W，得到模型从而模拟得到输出y与数据集X的线性关系，其中对数几率回归由于输出的是概率因此被用作分类任务的一部分。而线性判别分析通过类间散度矩阵Sb​和类内散度矩阵Sw​拟合一个目标函数使得Sb​和Sw​的广义瑞利商最大，最后求得W。
AIGC（Gemma，vivo）大模型研究
06-01
AIGC（Gemma，vivo）是一个基于深度学习的自然语言处理大模型，由中国科学院自动化研究所和vivo联合研发。该模型采用了全新的模型架构和训练方法，在多项中英文自然语言处理任务中取得了领先的性能。该模型具有超过100亿个参数，可以实现更加准确和自然的对话、文本生成等任务，为人机交互和智能客服等领域提供了强有力的支撑。 该模型的研究涉及了深度学习、自然语言处理、计算机视觉等多个领域，同时也借鉴了一些神经科学的知识。在模型训练上，研究团队采用了一种基于控制变量法的训练方法，通过对各个变量进行控制，最大程度地提升了模型的性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值