大模型系列：LLaMA大模型简述和本地部署实践

内容摘要

• LLaMA大模型背景介绍
• LLaMA网络结构相比Transformer的改进
• LLaMA中文化Atom大模型简述
• 在Python中调用HuggingFace LLaMA模型
• 基于text-generation-webui部署LLaMA问答平台

---

LLaMA大模型背景介绍

LLaMA是Meta AI公司在2023年2月发布的开源大模型，在开放基准上有着非常出色的表现，是迄今为止最流行的开放语言模型之一。
同期谷歌的PaLM大模型，OpenAI的GPT-4都采用闭源的方式，不能从源码来剖析模型的结构，LLaMA的开源降低了大模型的研究门槛，后续许多大模型都是借鉴或沿用了LLaMA的模型框架。另一方面由于LLaMA的开源，开发者可以将LLaMA作为基座模型进行本地部署搭建，用新的语料继续预训练或者微调，从而保证了数据的安全性不需要发送给第三方。

Meta AI公司羊驼大模型LLaMA

---

LLaMA网络结构相比Transformer的改进

LLaMA和GPT系列一样采用Transformer的堆叠Decoder，以上下文预测下一个词作为预测目标，在海量文本上进行无监督预训练。LLaMA的训练语料是以英语为主的拉丁语系，在分词方面，LLaMA采用sentencepiece实现的Byte-level BPE对语料进行分词编码。
和标准的Transformer相比，LLaMA借鉴了同期其他的研究成果对模型的局部结构进行了调整，包括

• 前置层归一化+RMSNorm归一化函数
• 门控线性单元和SwiGLU激活函数
• 旋转位置编码RoPE

1.前置层归一化+RMSNorm归一化函数

为了使模型训练更加稳定，在Decoder单元将第一个层归一化移动到多头注意力之前，将第二个层归一化移动到前馈传播层之前，同时残差连接位置调整到多头注意力层和前馈传播层之后，

前置层归一化

在归一化的计算方式上，采用RMSNorm函数，相比于标准的LayerNorm舍弃了均值的影响，是均值为0时LayerNorm的特例，使得计算变得简单加快模型训练和推理效率。

2.门控线性单元和SwiGLU激活函数

LLaMA采用门控线性单元GLU配合Swish激活函数，代替了标准transformer的前馈传播层全连接+ReLU的结构，SwishGLU的形式在大部分测评中被证明比全连接+ReLU更加有效。SwiGLU的计算公式如下

SwiGLU公式

3.旋转位置编码RoPE

LLaMA采用旋转位置编码Rotary Position Embedding，RoPE的思想是找到一个变换将位置信息注入Query和Key向量中，这样注意力中的Query和Key的内积计算能够感知到两者的相对位置距离，这个变换的求解结果对应为向量旋转，因此取名为旋转位置编码。

旋转位置编码RoPE示意图

---

LLaMA中文化Atom大模型简述

LLaMA对中文的支持较差，训练数据中中文占比很少，且词表对中文字符的覆盖度不够，因此本篇采用Llama中文社区推出的原子大模型Atom，它基于LLaMA架构在中文语料上重新预训练，并且拓充了词表提高了模型对中文文本表征能力和编码解码速度，可在HuggingFace模型仓库进行下载

Atom模型下载

---

在Python中调用HuggingFace LLaMA模型

根据中文LLaMA社区官网的案例快速开始，在Python中使用HuggingFace对Atom-7B进行调用测试如下

import torch
from transformers import AutoTokenizer, LlamaForCausalLM

model = LlamaForCausalLM.from_pretrained('./Atom-7B', torch_dtype=torch.float16)
model = model.to("cuda").eval()
tokenizer = AutoTokenizer.from_pretrained('./Atom-7B', use_fast=False)
tokenizer.pad_token = tokenizer.eos_token
input_ids = tokenizer(['<s>Human: 请给一个去苏州旅游的攻略\n</s><s>Assistant: '], return_tensors="pt",
                      add_special_tokens=False).input_ids.to('cuda')
generate_input = {
    "input_ids": input_ids,
    "max_new_tokens": 512,
    "do_sample": True,
    "top_k": 50,
    "top_p": 0.95,
    "temperature": 0.3,
    "repetition_penalty": 1.3,
    "eos_token_id": tokenizer.eos_token_id,
    "bos_token_id": tokenizer.bos_token_id,
    "pad_token_id": tokenizer.pad_token_id
}
generate_ids = model.generate(**generate_input)
text = tokenizer.decode(generate_ids[0])
print(text)

将问题：“请给一个去苏州旅游的攻略”拼入Human Assistant提示词模板，文本生成如下

<s> Human: 请给一个去苏州旅游的攻略
</s><s> Assistant: 1. 交通：建议乘坐高铁或飞机前往，距离上海约2小时车程。也可以选择自驾车或者公共汽车出行。
2. 住宿推荐：可以住在市中心的酒店、民宿等住宿设施中；也可以考虑在风景优美的郊区寻找合适的住所。
3. 推荐景点：拙政园（中国四大名园之一）、狮子林（园林艺术瑰宝）、留园（江南古典私家花园的典范）、虎丘塔（古代建筑和石刻艺术的代表）等等。
4. 建议游玩时间：5-7天为宜，每天安排一到两个主要景区游览即可。
5. 注意事项：带好身份证件以及必要的证件如护照签证等，注意天气变化并携带雨具防晒用品等物品。遵守当地法律法规及风俗习惯和文化禁忌。尊重当地的文化传统和环境保护意识。避免与当地人发生冲突或其他不愉快的事情。
6. 其他信息：了解一些关于苏州的历史文化和风土人情的知识是非常有益的。还可以参加一些本地的特色活动体验一下当地的生活方式与文化氛围。最后记得留下自己的旅行心得和经验分享哦！
</s>

---

基于text-generation-webui部署LLaMA问答平台

text-generation-webui是一个用于运行大型语言模型的Gradio Web用户界面，他可以将本地的模型文件部署为一个Web服务，实现模型推理，问答对话，模型训练，参数管理等功能。

github text-generation-webui项目

先通过anaconda创建Python虚拟环境

$ conda create -n textgen python=3.8
$ conda activate textgen

下载text-generation-webui项目到本地，安装requirements中所需要的依赖

$ git clone https://github.com/oobabooga/text-generation-webui
$ cd text-generation-webui
$ pip install -r <requirements file according to table below>

安装过程中可能会有各种版本不兼容的错误，逐个解决即可，安装完成启动server.py

$ cd text-generation-webui
$ python server.py

2023-12-15 16:42:44 INFO:Loading the extension "gallery"...
Running on local URL:  http://127.0.0.1:7861

To create a public link, set `share=True` in `launch()`.

浏览器打开127.0.0.1:7861进入text-generation-webui客户端，进入model页加载模型，提前将Atom-7B模型目录放置到text-generation-webui路径下的models目录下，然后在网页端选择Atom-7B，选择bf16精度，点击load加载模型

model模型加载

加载成功后会提示已经成功加载模型

模型加载成功

回到Chat界面，在文本框中输入内容，点击Generate即可完成文本生成

使用大模型进行对话测试

在Parameters界面可以对generate的参数进行调整吗，比如最大生成单词数，温度系数，top-k，top-p等。

参数管理页面

其他功能读者可自行测试，本文作为对LLaMA的简单介绍和快速开始，后续会对其中部分技术细节做深入分析，全文完毕。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

阶段1：AI大模型时代的基础理解

• 目标：了解AI大模型的基本概念、发展历程和核心原理。
• 内容：
  • L1.1 人工智能简述与大模型起源
  • L1.2 大模型与通用人工智能
  • L1.3 GPT模型的发展历程
  • L1.4 模型工程
  • L1.4.1 知识大模型
  • L1.4.2 生产大模型
  • L1.4.3 模型工程方法论
  • L1.4.4 模型工程实践
  • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

• 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
• 内容：
  • L2.1 API接口
  • L2.1.1 OpenAI API接口
  • L2.1.2 Python接口接入
  • L2.1.3 BOT工具类框架
  • L2.1.4 代码示例
  • L2.2 Prompt框架
  • L2.2.1 什么是Prompt
  • L2.2.2 Prompt框架应用现状
  • L2.2.3 基于GPTAS的Prompt框架
  • L2.2.4 Prompt框架与Thought
  • L2.2.5 Prompt框架与提示词
  • L2.3 流水线工程
  • L2.3.1 流水线工程的概念
  • L2.3.2 流水线工程的优点
  • L2.3.3 流水线工程的应用
  • L2.4 总结与展望

阶段3：AI大模型应用架构实践

• 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
• 内容：
  • L3.1 Agent模型框架
  • L3.1.1 Agent模型框架的设计理念
  • L3.1.2 Agent模型框架的核心组件
  • L3.1.3 Agent模型框架的实现细节
  • L3.2 MetaGPT
  • L3.2.1 MetaGPT的基本概念
  • L3.2.2 MetaGPT的工作原理
  • L3.2.3 MetaGPT的应用场景
  • L3.3 ChatGLM
  • L3.3.1 ChatGLM的特点
  • L3.3.2 ChatGLM的开发环境
  • L3.3.3 ChatGLM的使用示例
  • L3.4 LLAMA
  • L3.4.1 LLAMA的特点
  • L3.4.2 LLAMA的开发环境
  • L3.4.3 LLAMA的使用示例
  • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

• 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
• 内容：
  • L4.1 模型私有化部署概述
  • L4.2 模型私有化部署的关键技术
  • L4.3 模型私有化部署的实施步骤
  • L4.4 模型私有化部署的应用场景

学习计划：

• 阶段1：1-2个月，建立AI大模型的基础知识体系。
• 阶段2：2-3个月，专注于API应用开发能力的提升。
• 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
• 阶段4：4-5个月，专注于高级模型的应用和部署。

这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓