LLM大模型1_基础知识

首先,模型训练好后是原始版本,这个时候的模型是体积最大的,仅能通过transformers使用.当然,这个时候的模型也是相容性最好的,基本上只要能支持transformers的机器都能跑起来.而transformers算是AI界最通用的算法系统了.
其次,由於原始模型体积大速度慢等因素很多大老们发明了将其缩小但是不那么影响模型品质的方式,那就是量化,现在最常见的量化方式就是GPTQ和GGML.我们一般都是使用量化后的模型因為他们需要的VRAM或RAM能够降低很多.比如33B的模型没有量化大概需要50G~65G的VRAM或RAM,量化后24G就足够了.实际模型载入大概1XG,剩下的空间用来推理使用,已经完全足够.

• 模型类型与装载器:

  原始模型	装载器	名称标示特点
  原始模型	transformers	多个连续的数字编号档案构成，如001-of-008,002-of-008,003-of-008目录
  GPTQ	AutoGPTQ
  ExLlama
  ExLlama_HF
  GPTQ-for-LLaMa
  GGML	llama.cpp	模型名称中包含GGML，只有一个文件扩展名为.bin

• 名称说明

  7B,13B,33B,65B,170B	1B=10亿
  fp16	fp16精度版,一般当作量化前的小体积原始版保存用
  8K	8K上下文长度的模型
  4bit	采用4bit量化的模型.一般為了节省VRAM或RAM
  128g	量化中采用128g参数的模型.g=groupsize
  gpt4	采用gpt4的校准数据,也就是经过gpt4调教，一般是针对某些方面强化的，就目前来说常见的是聊天强化
  Chat	聊天强化
  QLoRA	QLoRA微调的版本
  LoRA	LoRA微调的版本
  Uncensored	未經審查版(去除了思想鋼印)
  NSFW	在未經審查版本的基礎上针对NSFW(工作場所不宜)內容強化的版本
  OPT	OPT格式,這不是LLaMa系列的模型.是由KoboldAI自己開發的系列,最初是用來寫作方面的,他們的數據都是未經審查且NSFW強化的
  SuperHOT	扩展上下文長度的版本
  SuperCOT	LoRA加強模型逻辑，一般用來写作

• 资源占用

  模型	原始尺寸所需RAM大小	量化后所需RAM大小（4bit）
  7B	13GB	3.9GB
  13B	24GB	7.8GB
  30B	60GB	19.5GB
  65B	120GB	38.5GB