大模型系列：LLaMA大模型简述和本地部署实践

于 2024-06-15 11:08:05 发布
阅读量408 收藏 10
点赞数 4
文章标签： llama langchain 数据库 jenkins transformer 语言模型 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85328934/article/details/139698929
版权

内容摘要

  • LLaMA大模型背景介绍
  • LLaMA网络结构相比Transformer的改进
  • LLaMA中文化Atom大模型简述
  • 在Python中调用HuggingFace LLaMA模型
  • 基于text-generation-webui部署LLaMA问答平台
LLaMA大模型背景介绍

LLaMA是Meta AI公司在2023年2月发布的开源大模型，在开放基准上有着非常出色的表现，是迄今为止最流行的开放语言模型之一。
同期谷歌的PaLM大模型，OpenAI的GPT-4都采用闭源的方式，不能从源码来剖析模型的结构，LLaMA的开源降低了大模型的研究门槛，后续许多大模型都是借鉴或沿用了LLaMA的模型框架。另一方面由于LLaMA的开源，开发者可以将LLaMA作为基座模型进行本地部署搭建，用新的语料继续预训练或者微调，从而保证了数据的安全性不需要发送给第三方。

Meta AI公司羊驼大模型LLaMA

LLaMA网络结构相比Transformer的改进

LLaMA和GPT系列一样采用Transformer的堆叠Decoder，以上下文预测下一个词作为预测目标，在海量文本上进行无监督预训练。LLaMA的训练语料是以英语为主的拉丁语系，在分词方面，LLaMA采用sentencepiece实现的Byte-level BPE对语料进行分词编码。
和标准的Transformer相比，LLaMA借鉴了同期其他的研究成果对模型的局部结构进行了调整，包括

  • 前置层归一化+RMSNorm归一化函数
  • 门控线性单元和SwiGLU激活函数
  • 旋转位置编码RoPE
1.前置层归一化+RMSNorm归一化函数

为了使模型训练更加稳定，在Decoder单元将第一个层归一化移动到多头注意力之前，将第二个层归一化移动到前馈传播层之前，同时残差连接位置调整到多头注意力层和前馈传播层之后，

前置层归一化

在归一化的计算方式上，采用RMSNorm函数，相比于标准的LayerNorm舍弃了均值的影响，是均值为0时LayerNorm的特例，使得计算变得简单加快模型训练和推理效率。

2.门控线性单元和SwiGLU激活函数

LLaMA采用门控线性单元GLU配合Swish激活函数，代替了标准transformer的前馈传播层全连接+ReLU的结构，SwishGLU的形式在大部分测评中被证明比全连接+ReLU更加有效。SwiGLU的计算公式如下

SwiGLU公式

3.旋转位置编码RoPE

LLaMA采用旋转位置编码Rotary Position Embedding，RoPE的思想是找到一个变换将位置信息注入Query和Key向量中，这样注意力中的Query和Key的内积计算能够感知到两者的相对位置距离，这个变换的求解结果对应为向量旋转，因此取名为旋转位置编码。

旋转位置编码RoPE示意图

LLaMA中文化Atom大模型简述

LLaMA对中文的支持较差，训练数据中中文占比很少，且词表对中文字符的覆盖度不够，因此本篇采用Llama中文社区推出的原子大模型Atom，它基于LLaMA架构在中文语料上重新预训练，并且拓充了词表提高了模型对中文文本表征能力和编码解码速度，可在HuggingFace模型仓库进行下载

Atom模型下载

在Python中调用HuggingFace LLaMA模型

根据中文LLaMA社区官网的案例快速开始，在Python中使用HuggingFace对Atom-7B进行调用测试如下

import torch
from transformers import AutoTokenizer, LlamaForCausalLM

model = LlamaForCausalLM.from_pretrained('./Atom-7B', torch_dtype=torch.float16)
model = model.to("cuda").eval()
tokenizer = AutoTokenizer.from_pretrained('./Atom-7B', use_fast=False)
tokenizer.pad_token = tokenizer.eos_token
input_ids = tokenizer(['<s>Human: 请给一个去苏州旅游的攻略\n</s><s>Assistant: '], return_tensors="pt",
                      add_special_tokens=False).input_ids.to('cuda')
generate_input = {
    "input_ids": input_ids,
    "max_new_tokens": 512,
    "do_sample": True,
    "top_k": 50,
    "top_p": 0.95,
    "temperature": 0.3,
    "repetition_penalty": 1.3,
    "eos_token_id": tokenizer.eos_token_id,
    "bos_token_id": tokenizer.bos_token_id,
    "pad_token_id": tokenizer.pad_token_id
}
generate_ids = model.generate(**generate_input)
text = tokenizer.decode(generate_ids[0])
print(text)

将问题：“请给一个去苏州旅游的攻略”拼入Human Assistant提示词模板，文本生成如下

<s> Human: 请给一个去苏州旅游的攻略
</s><s> Assistant: 1. 交通：建议乘坐高铁或飞机前往，距离上海约2小时车程。也可以选择自驾车或者公共汽车出行。
2. 住宿推荐：可以住在市中心的酒店、民宿等住宿设施中；也可以考虑在风景优美的郊区寻找合适的住所。
3. 推荐景点：拙政园（中国四大名园之一）、狮子林（园林艺术瑰宝）、留园（江南古典私家花园的典范）、虎丘塔（古代建筑和石刻艺术的代表）等等。
4. 建议游玩时间：5-7天为宜，每天安排一到两个主要景区游览即可。
5. 注意事项：带好身份证件以及必要的证件如护照签证等，注意天气变化并携带雨具防晒用品等物品。遵守当地法律法规及风俗习惯和文化禁忌。尊重当地的文化传统和环境保护意识。避免与当地人发生冲突或其他不愉快的事情。
6. 其他信息：了解一些关于苏州的历史文化和风土人情的知识是非常有益的。还可以参加一些本地的特色活动体验一下当地的生活方式与文化氛围。最后记得留下自己的旅行心得和经验分享哦！
</s>
基于text-generation-webui部署LLaMA问答平台

text-generation-webui是一个用于运行大型语言模型的Gradio Web用户界面，他可以将本地的模型文件部署为一个Web服务，实现模型推理，问答对话，模型训练，参数管理等功能。

github text-generation-webui项目

先通过anaconda创建Python虚拟环境

$ conda create -n textgen python=3.8
$ conda activate textgen

下载text-generation-webui项目到本地，安装requirements中所需要的依赖

$ git clone https://github.com/oobabooga/text-generation-webui
$ cd text-generation-webui
$ pip install -r <requirements file according to table below>

安装过程中可能会有各种版本不兼容的错误，逐个解决即可，安装完成启动server.py

$ cd text-generation-webui
$ python server.py

2023-12-15 16:42:44 INFO:Loading the extension "gallery"...
Running on local URL:  http://127.0.0.1:7861

To create a public link, set `share=True` in `launch()`.

浏览器打开127.0.0.1:7861进入text-generation-webui客户端，进入model页加载模型，提前将Atom-7B模型目录放置到text-generation-webui路径下的models目录下，然后在网页端选择Atom-7B，选择bf16精度，点击load加载模型

model模型加载

加载成功后会提示已经成功加载模型

模型加载成功

回到Chat界面，在文本框中输入内容，点击Generate即可完成文本生成

使用大模型进行对话测试

在Parameters界面可以对generate的参数进行调整吗，比如最大生成单词数，温度系数，top-k，top-p等。

参数管理页面

其他功能读者可自行测试，本文作为对LLaMA的简单介绍和快速开始，后续会对其中部分技术细节做深入分析，全文完毕。

如何系统的去学习大模型LLM ？

作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以V扫描下方二维码免费领取🆓

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

img

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1：AI大模型时代的基础理解

  • 目标：了解AI大模型的基本概念、发展历程和核心原理。
  • 内容：
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
    • L1.4.1 知识大模型
    • L1.4.2 生产大模型
    • L1.4.3 模型工程方法论
    • L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2：AI大模型API应用开发工程

  • 目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
  • 内容：
    • L2.1 API接口
    • L2.1.1 OpenAI API接口
    • L2.1.2 Python接口接入
    • L2.1.3 BOT工具类框架
    • L2.1.4 代码示例
    • L2.2 Prompt框架
    • L2.2.1 什么是Prompt
    • L2.2.2 Prompt框架应用现状
    • L2.2.3 基于GPTAS的Prompt框架
    • L2.2.4 Prompt框架与Thought
    • L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
    • L2.3.1 流水线工程的概念
    • L2.3.2 流水线工程的优点
    • L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3：AI大模型应用架构实践

  • 目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
  • 内容：
    • L3.1 Agent模型框架
    • L3.1.1 Agent模型框架的设计理念
    • L3.1.2 Agent模型框架的核心组件
    • L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
    • L3.2.1 MetaGPT的基本概念
    • L3.2.2 MetaGPT的工作原理
    • L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
    • L3.3.1 ChatGLM的特点
    • L3.3.2 ChatGLM的开发环境
    • L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
    • L3.4.1 LLAMA的特点
    • L3.4.2 LLAMA的开发环境
    • L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4：AI大模型私有化部署

  • 目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
  • 内容：
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划：

  • 阶段1：1-2个月，建立AI大模型的基础知识体系。
  • 阶段2：2-3个月，专注于API应用开发能力的提升。
  • 阶段3：3-4个月，深入实践AI大模型的应用架构和私有化部署。
  • 阶段4：4-5个月，专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取🆓

Cc不爱吃洋葱
关注
  • 4
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
09-23
本地部署开源大模型的完整教程LangChain + Streamlit+ Llama
大模型部署-在本地计算机上推理LLaMA大语言模型-支持Windows+Linux+Mac-优质项目实战.zip
03-26
本项目实战旨在教你如何在本地计算机上部署大型语言模型LLaMA（Large Language Models like MAth）进行推理工作，覆盖Windows、Linux和Mac操作系统。大模型部署是一项技术性极强的任务，涉及到高性能计算、资源管理...
收藏 | 看懂llama2 原理、模型和训练
zenRRan的博客
12-01 4405
作者：yeyan，中国地质大学 工程硕士 编辑：青稞AI基础知识llama2是meta最新开源的语言大模型，训练数据集2万亿token，上下文长度是由llama的2048扩展到4096，可以理解和生成更长的文本，包括7B、13B和70B三个模型，在各种基准集的测试上表现突出，最重要的是，该模型可用于研究和商业用途。1.1 分词（tokenize）语言模型是对文本进行推理。由于文本是字符串，但对模...
【AI大模型】羊驼大模型详解
2401_84204413的博客
05-27 1505
LLaMa模型结构：前面的词预测后面的词，经典的解码结构。位置编码用的是旋转自编码。大语言模型为什么取名为LLaMa（美洲鸵）？LLM发音困难。两个LL跟绕口令一样挑战舌头。大家想给它加点原音，帮助发音。有人加了A，就是LLaMa。3.模型的训练和数据：65B的模型使用2048块A100 80G的GPU，训练21天左右。（训练成本还是比较高的，训练的数据集同GPT一样）LLaMa模型训练的数据集。
Baichuan2大模型本地部署
Python，数据分析，机器学习，深度学习
09-21 7691
我们在和六个领域的中英文和多语言权威数据集上对模型进行了广泛测试。在通用领域我们在以下数据集上进行了 5-shot 测试。推理所需的模型权重、源码、配置已发布在 Hugging Face，下载链接见本文档最开始的表格。我们在此示范多种推理方式。程序会自动从 Hugging Face 下载所需资源。>>> messages.append({"role": "user", "content": "解释一下“温故而知新”"})"温故而知新"是一句中国古代的成语，出自《论语·为政》篇。
最强英文开源模型LLaMA架构探秘，从原理到源码
Steve Wang's blog
10-22 2914
LLaMA架构，三个关键点及对应原理，一些实现源码
Llama3模型+Windows本地运行软件（下载地址）
05-20
Meta放出Llama3模型了，也应该是这段时间里的一个科技大新闻了。 Llama一直都是开源大语言模型的领头羊驼。 而Llama3又是所有羊驼中最新的领头羊。 可以简单地来看一下官方的对比数据。 下面是Llama3和谷歌...
大模型部署-使用OpenVINO本地化部署LLaMa3-附项目源码+流程教程-优质项目实战.zip
06-07
总结而言，这个项目提供了一个完整的实践路径，让开发者能够学习到如何使用OpenVINO将大型语言模型LLaMa3本地化部署。通过源码和教程，你可以深入了解OpenVINO的工作原理，掌握模型转换和推理的关键步骤，同时提升在...
[大模型] LLaMA系列大模型调研与整理-llama/alpaca/lora（部分）
chenyang2203的博客
05-11 4176
llama系列大模型调研及关键信息整理，llama/standford-alpaca/alpaca-lora/chinese-llama-alpaca/belle等
LLaMa系列模型详解（原理介绍、代码解读）：LLaMA 2
qq_51957239的博客
05-19 2590
大型语言模型（LLMs）作为高度能力的人工智能助手，在需要跨多个领域专家知识的复杂推理任务中表现出巨大潜力，包括编程和创意写作等专业领域。它们通过直观的聊天界面与人类互动，这导致了快速和广泛的公众采用。考虑到训练方法的看似简单性，LLMs 的能力令人瞩目。自回归变压器首先在大量自监督数据上进行预训练，然后通过强化学习与人类反馈（RLHF）等技术与人类偏好对齐。尽管训练方法简单，但高计算需求限制了 LLMs 的开发，仅由少数参与者进行。
LLaMA: 高效且开源的基础语言模型
Kaiyuan_sjtu的博客
05-11 429
LLaMA是今年(2023年)二月份Meta挂在arxiv上的paper，是为数不多的开源的高质量大模型，对开源社区在LLM上的研究助力良多，厥功甚伟。下面我们看看这篇paper的细节。LLM(Large Language Model)出现以来，大家普遍认为模型参数越多，质量越好。然而，Jordan Hoffmann在Training compute-optimal large language ...
【大模型】LLaMA-1 模型介绍
酒酿小圆子呀～
05-07 1836
Hoffmann 等人（2022）最近的工作表明了，在给定的计算预算下，最佳性能不是由最大的模型实现的，而是基于更多数据上的训练较小模型实现的。和之前的工作相比，本论文的重点是基于更多 tokens 的训练集，在各种推理预算下，训练出性能最佳的一系列语言模型，称为 LLaMA，参数范围从 7B 到 65B 不等，与现有最佳 LLM 相比，其性能是有竞争力的。比如，LLaMA-13B 在大多数基准测试中优于 GPT-3，尽管其尺寸只有 GPT-3 的十分之一。
大模型——LLAMA模型
qq_53644983的博客
09-03 847
LLaMA是基础语言模型的集合，参数范围7B到65B。数据来源于公开的数据集。
LLaMA-META发布单卡就能跑的大模型
liliang199的专栏
02-27 3114
2023年2月25日，Meta使用2048张A100 GPU，花费21天训练的Transformer大模型LLaMA开源了。
聊聊大模型：开源LLaMA背后的底层逻辑与赚钱之道？大模型的发展瓶颈？如何一键部署LLaMA3？
python1234567_的博客
06-04 1397
如果我们相信未来比今天更好，坚信自己生活在一个好地方，所要做的便是认识到未来时代的特征和规律。把握住一些不变的道理，使用正确的方法，做那些能够不断让自己获得可叠加式进步的事情，这样便能立于不败之地。—吴军最近关注两个方向，也是公司重点发展和投资的两个方向，一是数据资产入表，二是大模型及应用。前段时间写数据资产入表相关内容更多一些，利用假期，把最近一些大模型相关的信息做一个整理，给大家做一个分享。背后的商业逻辑与赚钱之道*
AI智能体研发之路-工程篇（三）：大模型推理服务框架Ollama一键部署
人工智能领域博客
05-06 2264
一行代码完成Ollama本地部署，提升大语言模型推理服务部署与效果评测效率。
免费！快速！干货！手把手教你如何在个人电脑上搭建你自己的大模型服务！
最新发布
python1234567_的博客
06-11 726
Ollama官网：https://ollama.com/Ollama的GitHub地址：https://github.com/ollama/ollamaOllama是一个“支持在本地快速部署大模型服务”的解决方案，目前已经支持了很多开源的大模型，如下图所示，其中包括了Meta开源的最知名的大模型Llama，其他比如Mistral等也是享誉业内：
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值