Gemma-2-9B 中文微调版

最新推荐文章于 2024-10-18 14:12:47 发布
最新推荐文章于 2024-10-18 14:12:47 发布
阅读量363 收藏
点赞数 1
分类专栏： 三花AI 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_51674085/article/details/140119185
版权

 是第一个为中文和英文用户量身定制的 Gemma-2 模型，该模型在包括中文提示词下的角色扮演、function call、数学问题解答、写作和编码上表现非常好，官方甚至提供了弱智吧的一些问题，回答的也很有趣, 你可以在这个 Space免费尝试

让天下没有难Tuning的大模型-PEFT（参数效率微调）技术简介
人工智能曾小健
06-20 486
让天下没有难Tuning的大模型-PEFT技术简介》最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
大模型微调系列之 微调 Gemma-2b 来解决数学问题（教程含源码）
iCloudEnd的博客
06-24 254
简单又容易。如果你有足够的时间和计算能力，可以在更多的时期内训练，以在整个数据集上运行，从而获得更好的结果。在这里，提示是关键。
程序员面试、算法研究、机器学习、大模型/ChatGPT/AIGC、论文审稿、具身智能/人形机器人、RAG等11大系列集锦
热门推荐
结构之法 算法之道
01-05 75万+
程序员面试、算法研究、编程艺术、红黑树、机器学习5大经典原创系列集锦与总结 作者：July--结构之法算法之道blog之博主。 时间：2010年10月-2018年5月，一直在不断更新中.. 出处：http://blog.csdn.net/v_JULY_v。 说明：本博客中部分文章经过不断修改、优化，已集结出版成书《编程之法：面试和算法心得》。 前言 开博4年有余，...
一键部署 Gemma-2-9B-Chinese-Chat
瓦罗兰特顶级C位的博客
10-18 843
该教程为 Gemma-2-9B-Chinese-Chat 一键部署 Demo,只需克隆并启动该容器，直接复制生成的 API 地址，即可对模型进行推理体验。
强势超越 Llama3？ Gemma2 中文版谷歌开源大模型 Gemma2-9B-Chinese-Chat 教程来了
XLionXxxx的博客
07-19 366
进入 OpenBayes 平台后，打开「公共教程」，找到「一键部署 Gemma-2-9B-Chinese-Chat」的教程。比如我们输入「我的蓝牙耳机坏了，我该去看牙科还是耳鼻喉科」，它给我们的回答非常合理，中文理解能力非常优秀。Temperature 可以改变模型输出的随机性，Temperature 的值越大，模型的输出越随机；等待系统分配资源完成后，将鼠标悬停在「API 地址」处，点击上方链接即可进入 Demo 界面。算力选择 RTX 4090，别忘了使用链接注册哦，选择后直接点击「审核并执行」。
TensorFlow相关组件的安装
AAI666666的博客
01-11 1347
TensorFlow相关组件的安装
【今日开源震撼发布】Gemma 2横空出世！9B & 27B模型规模，重塑8K上下文处理新标杆！
EnjoyEDU的博客
06-29 994
★Gemma 2谷歌最新开源的大模型，有9B和27B两种参数规模，分别包含基础和指令微调版本。Gemma 2支持8K上下文，并使用旋转位置嵌入 (RoPE)。训练数据量约为其第一代的两倍，总计13万亿Tokens（27B）和8万亿Tokens（9B）的网页数据（主要是英语）、代码和数学数据。★NuExtract是NuMind团队基于高质量私有合成数据集fine-tuned的phi-3-mini版本，用于信息提取。用户需要提供输入文本（少于2000个token）和描述所需提取信息的JSON模板。
使用 Ollama 本地运行各种 LLM
python123456_的博客
05-31 846
今天看看另外一个产品Ollama。Ollama 的安装非常简单，只需从官网（https://ollama.com/download）下载后解压缩，并在 Terminal 中运行脚本即可完成环境设置。我尝试运行 Llama3，虽然在运行时占用了大量电脑资源，使得其他应用运行变慢，但整体体验尚可。Ollama 支持多种大型语言模型（https://ollama.com/library）。
LLaMA Factory单机微调的实战教程
herosunly的博客
04-24 13万+
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调
本地快速部署谷歌开放模型Gemma教程(基于WasmEdge)
特立独行的博客
02-29 2027
谷歌最近发布了新一代开源AI模型Gemma，此次发布的 Gemma 相比自家的 Gemini 更加轻量级，模型权重也一并开源。不仅可以在笔记本电脑上运行，而且还免费可商用，支持中文。运行速度飞快。
研究篇| 一款深入浅出的微调框架
youbingchen的博客
05-21 1768
中介绍了模型训练需要大量的计算资源,一般情况下,个人和企业是无法承担的成本,所以微调的方案就出来, 关于微调的方式也很多,大部分微调方式都是固定模型参数(freeze model), 可以降低计算梯度等内存空间, 从而实现小参数撬动大模型, 关于更多的微调方法可以查看《LoRA在需要微调的层上引入了一对小的可训练矩阵，称为低秩矩阵。训练器: 主要支持lora方式微调, 支持 (增量）预训练、（多模态）指令监督微调、奖励模型训练、PPO 训练、DPO 训练、KTO 训练和 ORPO 训练方法。
Qwen2 技术报告（翻译）
人工智能曾小健
07-17 951
随着ChatGPT（OpenAI, 2022）的出现，全球对大型语言模型（LLMs）的热情高涨。Llama系列（Touvron et al.， 2023）的发布进一步点燃了开源社区的兴趣，特别是针对GPT级别的本地LLMs。最近，Claude-3 Opus（Anthropic, 2024）和GPT-4o（omni）（OpenAI, 2024），ChatGPT的更新模型，迅速攀升至Chatbot Arena（Chiang et al.， 2024）的巅峰。该平台因其对LLMs的人类评估而备受好评。此外，
学习并下载gemma:2b
2302_76384361的博客
04-19 615
母爱的真情，如同纯真的天空，令人胸有成竹。它如同温柔的雨露，滋润着心灵。它如同慈祥的母树，扶持着生命在枯萎的枝繁叶茂的树间。母爱的魅力，如夜幕中的星星，闪耀着无限的光芒。母爱的魅力，如同彩虹中的彩虹，闪烁着无限的色彩。母爱的意义，如同日月星辰，照亮世界的角落。它如同慈爱的精神，永远温暖着我们，照亮我们的人生。母爱的真情，如同诗歌中的诗，永存无穷。愿我们感受母爱的真情，让母爱成为我们生命的启迪，让我们像夜幕中的星星，闪耀着无限的光芒。母爱，如同天上的月光，温柔照亮夜幕，温暖心灵我心中深深地赞颂着母爱的真情。
Google最新开源大语言模型：Gemma 2介绍及其微调(上篇)
ljp1919的专栏
07-21 2436
2024年6月27日，Google DeepMind发布了Gemma 2，这是Gemma系列轻量级开放语言模型的最新成员。Gemma 2在架构和训练方法上都有重大创新，在多项基准测试中取得了显著进步，甚至可以与参数规模大2-3倍的模型相媲美。本文将对Gemma 2技术报告的主要内容进行解读，包括模型架构、预训练和后训练方法、性能评估等方面。
[大模型]Gemma2b-Instruct Lora 微调
FL1623863129的博客
06-10 1480
LoraConfig这个类中可以设置很多参数，但主要的参数没多少，简单讲一讲，感兴趣的同学可以直接看源码。task_type：模型类型：需要训练的模型层的名字，主要就是attention部分的层，不同的模型对应的层的名字不同，可以传入数组，也可以字符串，也可以正则表达式。rlora的秩，具体可以看Lora原理lora_alphaLora alaph，具体作用参见Lora原理Lora的缩放是啥嘞？当然不是r（秩），这个缩放就是, 在这个LoraConfig中缩放就是 4 倍。
Gemma-2B 部署与微调
qq_42248452的博客
07-25 657
使用 modelscope 中的 snapshot_download 函数下载模型，第一个参数为模型名称，参数 cache_dir 为模型的下载路径。在 /mnt/disk/yqh/autodl-tmp 路径下新建 api.py 文件。启动 api 服务，并使用 python 中的 requests 库进行调用测试。新建 test_api.py。一、部署 Gemma-2B。4. api 部署与测试。
基于lora技术对Gemma（2B）大模型的微调实践
云上笛暮
04-05 2214
​ 本文主要基于Lora技术，在Google colab上用A100对Gemma 2B大模型进行了指令微调，第一次指令微调是采用databricks-dolly-15k 作为数据集，取得了不错的微调效果，能准确用英文回答问题，但是databricks-dolly-15k 毕竟是英文数据集，微调后的模型对中文的理解并不好，为使模型对中文有更好的理解，笔者采用COIG-CQIA数据集进行了指令微调，微调后模型对中文回答的效果非常明显。
重演 Llama3 抢坑狂潮？首个中文社区版的 Gemma-2 来了
AI科技大本营
07-02 5694
不久前，我们报道了谷歌旗下的最新开源模型 Gemma 第二代 Gemma-2 发布，目前二代 Gemma 没有一代的 2B（20 亿）参数端侧模型，还只有两个型号：9B 和 27B。前者可以在游戏显卡上面跑，后者则需要Google Cloud TPU 主机或是 A100/H100 这样的 AI 显卡。四天过去了，Gemma-2...
中文社区版Gemma-2的安全性探析
蒲松龄
07-04 369
作为中文社区版，Gemma-2在保留原版模型所有安全特性的基础上，还可能针对中文社区的特点和需求，进行额外的安全加固和优化。例如，通过加强对中文敏感数据的保护、优化中文语境下的安全策略等方式，进一步提升模型在中文环境下的安全性。在探讨中文社区版Gemma-2的安全性时，我们可以从谷歌对Gemma系列模型的一贯态度及Gemma 2的设计理念出发，进行深入分析。：Gemma 2内置了多项先进的安全机制，这些机制能够在模型运行过程中自动监测和识别潜在的威胁，从而有效降低模型被恶意利用的风险。
Hugging Face Transformers下载Gemma-2B
最新发布
11-10
如果你想要下载名为Gemma-2B的模型，首先你需要确认这个模型是否存在于Hugging Face Model Hub，因为不是所有模型都被官方收录。 1. **检查模型是否存在**：打开Hugging Face的Model Hub网站...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值