1-2B参数规模大模型使用心得及模型汇总

最新推荐文章于 2024-07-24 16:14:10 发布
最新推荐文章于 2024-07-24 16:14:10 发布
阅读量523 收藏 5
点赞数 4
文章标签： 人工智能 ai 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_82275412/article/details/138461811
版权

写在前面

大模型时代，根据大模型缩放定律，大家通常都在追求模型的参数规模更大、训练的数据更多，从而使得大模型涌现出更多的智能。但是，模型参数越大部署压力就越大。即使有gptq、fastllm、vllm等推理加速方法，但如果GPU资源不够也很难保证高并发。

那么如何在模型变小的同时，模型效果不明显下降，在指定任务上也可以媲美大模型的效果呢？

Google前几天发布的Gemini，在移动端采用1.8B参数模型面向低端手机，3.25B参数模型面向高端手机。

An overview of the Gemini 1.0 model family

而微软最近也是推出了2.7B的Phi-2模型，评测效果绝群。

Averaged performance on grouped benchmarks compared to popular open-source SLMs

Comparison between Phi-2 and Gemini Nano 2 Model on Gemini’s reported benchmarks

恰好笔者前段时间也在研究1-2B参数量左右的模型，因此写写心得体会；并汇总了一下现在市面上开源的1-2B参数量的大模型。

这波反向操作，佛曰：不可说。

如何使大模型变小

模型压缩的方法包括：用更多的数据硬训练小模型、通过大模型对小模型进行蒸馏、通过大模型对小模型进行剪枝、对大模型进行量化、对大模型进行低秩分解。

Taxonomy of Model Compression methods for Large Language Models

但是模型参数量变小还是硬训练或蒸馏一个参数量小的模型，剪枝和量化只是对模型进行推理加速，本质上参数量没有变少。

Paper: https://arxiv.org/pdf/2308.07633.pdf

对于预训练阶段来说，往往需要更多的数据硬训练。参数规模不够，只能数据质量和数据数量来凑。

Textbooks Are All You Need

而在指令微调阶段，往往是蒸馏更优秀的大模型，来让小模型效果更好。利用GPT3.5、GPT4的数据直接指令微调是对闭源大模型蒸馏的方法之一，也是目前大家主流的做法。但也可以在蒸馏过程中，利用闭源大模型充当一个裁判来判别教师模型回答和学生模型回答的差异，让学生模型向老师模型（闭源）进行反馈，重点是找到困难数据让学生模型进行更好的学习。

Lion: Adversarial Distillation of Proprietary Large Language Models

当然如果你本身拥有更大更好的大模型，那么就可以用标准的知识蒸馏来进行模型蒸馏，利用KL散度，对教师模型和学生模型输出概率分布之间的差异进行训练学习。

将更大模型的效果蒸馏到小模型上，会比硬训练的效果要理想，但首先要有一个可获取网络各层logits的大&好&强的模型。

训练1-2B参数规模使我痛并快乐

  • 训练1-2B模型让我又找到了全量调参的快乐，之前受显卡限制，都是Lora、QLora等方法训练。

  • 模型部署阶段，再也不用为显存发愁，老卡也轻轻松松进行模型部署。对于2B模型，Float32进行参数部署也就8G、Float16就需要4G，如果再做量化的话更小，甚至CPU部署速度也可以接受。

  • 同等数据情况下，效果确实不如更大的模型。以Qwen1.8B和7B为例，在自己任务上指标差了7-10个点。

  • 在个人任务上，通过增加数据，将训练数据扩大2-4倍并提高数据质量之后，效果基本上可以媲美。

  • 小模型在没有定制优化的任务上，就一言难尽了，泛化能力等都远不如更大的模型。

  • 用了小模型之后，再也没被吐槽过速度了。

主流1-2B参数规模的大模型汇总

共整理了14个1-2B参数规模的大模型，按照参数量从大到小排序，如下所示。

PS: HF访问不了的小伙伴，可以看一下《大模型下载使我痛苦》。

Yuan2.0-2B

Yuan2.0-2B是浪潮发布的Yuan2.0大模型的2B版本，采用中英文的高质量资料，包括书籍、百科、论文等。Yuan2.0-2B模型层数24层，隐藏层维度2048，支持最大长度8192。

Github: https://github.com/IEIT-Yuan/Yuan-2.0  
HF: https://huggingface.co/IEITYuan/Yuan2.0-2B  
Paper: https://arxiv.org/ftp/arxiv/papers/2311/2311.15786.pdf

Qwen-1.8B

Qwen-1.8B是阿里发布的Qwen大模型的1.8B版本，采用2.2TB Token的数据进行预训练，包含高质量中、英、多语言、代码、数学等数据，涵盖通用及专业领域的训练语料。Yuan2.0-2B模型层数24层，隐藏层维度2048，支持最大长度8192，并且开源了对应的Chat模型。

Github: https://github.com/QwenLM/Qwen  
HF: https://huggingface.co/Qwen/Qwen-1_8B  
Paper: https://arxiv.org/pdf/2309.16609.pdf

Bloom-1.7B&1.1B

Bloom-1.7B&1.1B是Hugging Face牵头组织的BigScience项目开源的Bloom大模型的1.7B和1.1B版本。训练数据涉及46种自然语言和13种编程语言，共计1.6TB的文本数据。Bloom-1.7B模型层数24层，隐藏层维度2048，支持最大长度2048。Bloom-1.1B模型层数24层，隐藏层维度1536，支持最大长度2048。

HF: https://huggingface.co/bigscience/bloom  
Paper: https://arxiv.org/pdf/2211.05100.pdf

Pythia-1.4B&1B

Pythia-1.4B&1B是EleutherAI开源的Pythia的1.4B和1B版本。主要使用300B Token的The Pile数据集进行训练。Pythia-1.4B模型层数24层，隐藏层维度2048。Pythia-1B模型层数16层，隐藏层维度2048。

Github: https://github.com/EleutherAI/pythia  
HF: https://huggingface.co/EleutherAI/pythia-1b  
&&  
HF: https://huggingface.co/EleutherAI/pythia-1.4b  
Paper: https://arxiv.org/pdf/2304.01373.pdf

Phi-1&Phi-1.5

Phi-1&Phi-1.5是微软开源的Phi大模型的两个不同版本，均有1.3B参数，模型层数24层，隐藏层维度2048。Phi-1模型训练54B Token的数据，而Phi-1.5模型训练150B Token的数据。

HF: https://huggingface.co/microsoft/phi-1  
Paper: https://arxiv.org/pdf/2306.11644.pdf  
&  
HF: https://huggingface.co/microsoft/phi-1_5  
Paper: https://arxiv.org/pdf/2309.05463.pdf

Deepseek-Coder-1.3B

Deepseek-Coder-1.3B是深度求索发布开源的Deepseek-Coder的1.3B版本，采用1TB Token的数据进行预训练，数据由87%的代码和13%的中英文自然语言组成，模型层数24层，隐藏层维度2048。

Github: https://github.com/deepseek-ai/deepseek-coder  
HF: https://huggingface.co/deepseek-ai/deepseek-coder-1.3b-base

Galactica-1.3B

Galactica-1.3b是MetaAI开源的Galactica大模型的1.3B版本，采用106B Token数据进行训练，数据主要来自论文、参考资料、百科全书和其他科学来源等。模型层数24层，隐藏层维度2048。

Github: https://github.com/paperswithcode/galai/blob/main/docs/model_card.md  
HF: https://huggingface.co/facebook/galactica-1.3b  
Paper: https://galactica.org/static/paper.pdf

GPT-Sw3-1.3B

GPT-Sw3-1.3B是AI Sweden开源的GPT-SW3大模型的1.3B版本，采用320B Token数据进行训练，数据主要由瑞典语、挪威语、丹麦语、冰岛语、英语和编程代码数据集组成。模型层数24层，隐藏层维度2048。

HF: https://huggingface.co/AI-Sweden-Models/gpt-sw3-1.3b

GPT-Neo-1.3B

GPT-Neo-1.3B是EleutherAI开源的GPT-Neo大模型的1.3B版本，GPT-Neo模型主要为了复现的GPT-3模型，采用380B Token数据进行训练，模型层数24层，隐藏层维度2048。

HF: https://huggingface.co/EleutherAI/gpt-neo-1.3B

OPT-1.3B

OPT-1.3B模型是由MetaAI开源的OPT大模型的1.3B版本，采用180B Token数据进行训练，模型层数24层，隐藏层维度2048。

HF: https://huggingface.co/facebook/opt-1.3b  
Paper: https://arxiv.org/pdf/2205.01068.pdf

TinyLlama-1.1B

TinyLlama模型是一个1.1B参数的Llama模型，旨在3TB Token的数据上进行训练，目前训练到2.5TB Token数据，模型层数22层，隐藏层维度2048。

Github: https://huggingface.co/TinyLlama/TinyLlama-1.1B-intermediate-step-1195k-token-2.5T  
HF: https://huggingface.co/facebook/opt-1.3b

写到最后

如果领导非要部署大模型，但对效果要求没有那么高，又没有资源支持，那么选择一个1-2B的模型也是不错的呦。

领取方法（文末领取）

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

在这里插入图片描述

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
在这里插入图片描述
在这里插入图片描述

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

IT猫仔
关注
  • 4
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
让天下没有难Tuning的大模型-PEFT（参数效率微调）技术简介
人工智能曾小健
06-20 420
让天下没有难Tuning的大模型-PEFT技术简介》最近，深度学习的研究中出现了许多大型预训练模型，例如GPT-3、BERT等，这些模型可以在多种自然语言处理任务中取得优异的性能表现。而其中，ChatGPT模型因为在对话生成方面的表现而备受瞩目，成为了自然语言处理领域的热门研究方向。然而，这些大型预训练模型的训练成本非常高昂，需要庞大的计算资源和大量的数据，一般人难以承受。这也导致了一些研究人员难以重复和验证先前的研究成果。
大模型训练为什么用A100不用4090
zenRRan的博客
09-14 2072
作者:李博杰链接:https://zhuanlan.zhihu.com/p/655402388进NLP群—>加入NLP交流群这是一个好问题。先说结论，大模型的训练用 4090 是不行的，但推理（inference/serving）用 4090 不仅可行，在性价比上还能跟 H100 打个平手。事实上，H100/A100 和 4090 最大的区别就在通信和内存上，算力差距不大。H100A1004...
如何更好地蒸馏ChatGPT模型能力：Lion闭源大型语言模型的对抗性蒸馏模型原理及实验工作介绍...
zenRRan的博客
06-12 1220
来自：老刘说NLP进NLP群—>加入NLP交流群如何将ChatGPT的能力蒸馏到另一个大模型，是当前许多大模型研发的研发范式。当前许多模型都是采用chatgpt来生成微调数据，如self instruct，然后加以微调，这其实也是一种数据蒸馏的模拟路线。不过，这种数据蒸馏的方式，只是单向的，并没有进行数据反馈。最近的一篇文章《Lion: Adversarial Distillation of...
VPGTrans: 10%的成本定制你自己的类GPT-4多模态大模型
夕小瑶科技说
05-08 712
比如，相比于从头训练，我们通过BLIP-2 OPT-2.7B到6.7B的VPG迁移，可以仅用大约10%的数据和计算时间就达成各个数据集相似或更好的效果(图1)。b) TaS场景下，越小的语言模型上训练的VPG，迁移到大模型时效率越高，最终效果越好。(1)直接继承一个训练好的VPG可以加速收敛,但效果有限：我们发现，直接迁移一个LLM上训练好的VPG到大LLM可以加速模型收敛，但加速效果有限，且收敛后模型效果相比于从头训练VPG会掉点(图5的VQAv2、GQA蓝线最高点均低于橘线)。
职业热度分析及数据可视化系统-个人报告B
03-30
- **描述**：“太原理工大学-软件工程-人工智能方向-职业热度分析及数据可视化系统-个人报告B” 根据给定的信息可以看出，该项目是太原理工大学软件工程专业中一个面向人工智能方向的学生所完成的一项课程设计成果...
超对称Chern-Simons-matter模型中重整化组的改进和对称性的动态破坏
05-03
（2 + 1）维时空中的标量超场。 经典的拉格朗日模型呈现尺度不变性，该尺度不变性被有效超电势的辐射校正所打破。 我们通过使用RGE和beta函数以及文献中已知的反常维数来计算最多两个环的有效超电势。 然后，我们...
实验一--典型环节的MATLAB仿真汇总.doc
11-24
【实验一--典型环节的MATLAB仿真汇总】 实验一主要目标是通过MATLAB的SIMULINK模块，理解和分析不同典型环节的动态特性及其对系统响应的影响。SIMULINK是MATLAB中的一个强大工具，用于建立动态系统模型，进行仿真和...
1990年-2017年软件设计师（中级）历年真题及答案
04-10
1. 软件工程基础：包括软件生命周期、软件开发模型（如瀑布模型、迭代模型、敏捷开发等）、软件质量保证和风险管理。 2. 需求分析：学习如何进行有效的用户访谈，编写需求规格说明书，以及如何使用工具（如UML）进行...
省级大学生创新创业训练计划项目结题报告书-样表借鉴.pdf
01-30
- 列出项目产生的各种成果形式，如文献综述、调查报告、研究论文、软件、设计、硬件研制、专利、心得体会、实物模型等，并提供相关证明材料。 5. **经费使用情况**： - 学校下拨的经费总额。 - 经费的具体支出...
2B小姐姐的走路+疾跑+跑步动作
06-06
自己制作的2B小姐姐的走路+疾跑+跑步动作 包括模型资源在内
面壁智能发布2B模型：适配主流手机，推理成本仅为GPT-4的1/360
weixin_43769323的博客
02-03 818
以搭载了骁龙855芯片的OPPO手机为例，MiniCPM每秒能处理7.5 Tokens，运行5年后报废，成本为600元，由此可得170万Tokens的推理成本仅1元——MiniCPM的推理成本仅Mistral的1/100，GPT-4的1/360。相较于MiniCPM-V，OmniLMM不仅支持多模态对话，还支持多模态的实时交互，比如用户可以实时与模型进行石头剪刀布的游戏，也可以让模型实时识别路况。无论是端侧模型的自我迭代能力，还是软硬件适配的标准建立，大模型想要进入端侧，仍需要全产业链的推动。
基于DeepSpeed对 llama2-7b的LORA精调
u010899985的博客
12-21 3157
在调参实验中，我们先对ZeRO相关的所有参数做了一次实验，单次实验只改变一个实验参数，最后锁定了与zero_stage=3相关的三个参数以及参数reduce_bucket_size，针对这些参数进行了一系列调参实验。从表格中我们可以看到，对于llama2-7b模型，除zero_stage为0以外，单机单卡对该模型进行LORA精调支持的最大长度都为256，zero_stage为1或2时，单机双卡和双机四卡对llama2-7b模型进行LORA精调的最大长度都为512。较小的值使用较少的内存，但执行更多的通信。
常见大模型对比[ChatGPT（智能聊天机器人）、Newbing(必应)、Bard（巴德）、讯飞星火认知大模型（SparkDesk）、ChatGLM-6B]
weixin_52220767的博客
05-26 6776
2022年7月，李飞飞、PercyLiang等[1]提出“基础模型”(FoundationModels)的概念：基于自监督学习的模型在学习过程中会体现出来各个不同方面的能力，这些能力为下游的应用提供了动力和理论基础，称这些大模型为“基础模型”。2023年2月，刘安平等[2]提出大模型是“大数据+大算力+强算法”结合的产物，凝练了大数据内在精华的“隐式知识库”，是实现人工智能应用的载体。
模型压缩加速-五种CNN模型的尺寸，计算量和参数数量对比详解
weixin_42535423的博客
01-15 3510
五种CNN模型的尺寸，计算量和参数数量对比详解一、SqueezeNet1.1 设计思想1.2 网络架构1.3 实验结果1.4 速度考量二、Deep Compression2.1 算法流程2.2 模型存储2.3 实验结果2.4 速度考量三、XNorNet3.1 BWN3.2 XNOR-Net3.3 实验结果四、Distilling4.1 基本思想4.2 实验结果4.3 速度考量五、MobileNet5.1 卷积分解5.2 模型架构5.3 实验结果六、ShuffleNet6.1 设计思想6.2 网络架构6.3
【深度学习】微调通义千问模型：LoRA 方法，微调Qwen1.8B教程，实践
q742971636的博客
02-23 3158
与全参数微调不同，LoRA和Q-LoRA的训练只需存储adapter部分的参数。假如你需要使用LoRA训练后的模型，你需要使用如下方法。在本篇博客中，我们将介绍如何使用 LoRA 方法微调通义千问模型，以适应特定任务或数据。首先，我们将简要介绍准备数据和运行微调所需的步骤，然后详细说明如何执行 LoRA 微调。首先，您需要准备您的训练数据，并将其存储为 JSON 文件。通过以上步骤，您就可以成功运行 LoRA 方法对通义千问模型进行微调了。在开始微调之前，请确保设置好网络代理，以确保能够顺利访问所需资源。
大模型参数量和占的显存怎么换算？
最新发布
qq_44815135的博客
07-24 361
文章目录 1B"的全称是"1 Billion"，表示十亿；而"1M"的全称是"1 Million"，表示一百万。 B和G都是十亿（1000M或1024M）的意思，M是100万的意思。 模型参数有xB就是说有x十亿个参数。 显存有多少G/M是说有多少G/M个字节（byte），1个字节=8比特（bit）。 1字节（Byte）通常由8个比特组成，FP32使用4字节（32位）表示一个浮点数，而FP16使用2字节（16位）表示一个浮点数 1B模型参数对应多少G内存和参数的精度有关，如果是全精度训练（fp32），一
大模型参数量及其单位的概念
Wuqing857的博客
07-21 401
RoBERTa-Base模型的参数量比BERT-Base模型的参数量稍多一些，这是因为RoBERTa引入了一些额外的层和参数，比如用于动态调整模型输入的句子顺序的“动态遮蔽”（dynamic masking）策略。- 999个特殊的token，如 `[UNK]`（未知词）、`[PAD]`（填充）、`[CLS]`（分类任务的句子开始标志）、`[SEP]`（序列分隔符）、`[MASK]`（掩码，用于遮蔽语言模型任务）：表示十亿（Billion）。同样地，在模型参数量的上下文中，"B"指的是十亿个参数。
计算网络模型的参数数量并将其转换为兆字节（MB）和千字节（KB）
weixin_45928096的博客
05-06 3876
所有参数的总数），怎么将其转化为MB（兆字节）或者K？ 要将模型的参数总数转换为 MB（兆字节）或 KB（千字节），需要考虑每个参数通常用 4 字节（32 位浮点数）或 8 字节（64 位浮点数）来表示。接下来，将总参数数量乘以每个参数所占用的字节数（例如 4 字节），然后除以相应的单位转换因子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT猫仔

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值