Llama2-Chinese-7b-Chat安装部署

已于 2024-01-17 15:22:09 修改
阅读量3.2k 收藏 29
点赞数 14
分类专栏： 大模型安装 文章标签： 自然语言处理 llama
于 2023-12-13 12:02:05 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45734379/article/details/134964837
版权

文章目录

前言

本文主要介绍如何使用Llama2-Chinese-7b-Chat，最后的效果如图所示：

在这里插入图片描述

一、文件介绍 📁

⬇️ 下载地址：https://pan.baidu.com/s/1smUeYoocrPzwPdjyKpawYg?pwd=22vx 提取码: 22vx
📁 Llama2-Chinses-7B-Chat文件夹中的具体内容如下图所示：
在这里插入图片描述

二、环境配置 ♟

使用的是服务器，版本为NVIDIA GeForce RTX 4090，内存为24GB。
选择的Python版本为3.8.16，Anaconda版本为4.9.2，ubuntu的版本为20.04。

库名 版本
transformers
最低0.47元/天 解锁文章
D洁洁和W的御用Programmer
关注
  • 14
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
Llama2-Chinese.tar
08-08
Llama2-Chinese.tar
Llama3-70B-Chinese-Chat-大模型资源
最新发布
07-21
Llama3 70B C-EvalCMMLUChatGPTGPT-4
Llama2-7B/13B chat模型（下载地址）.txt
08-14
•Llama2-7B官网版本 •Llama2-7B-Chat官网版本 •Llama2-13B官网版本 •Llama2-13B-Chat官网版本 •Llama2-7B Huggingface版本 •Llama2-7B-Chat Huggingface版本
CPU上安装ollama和部署开源Llama2-chinese模型
ishanshui的博客
03-01 3829
即使没有GPU显卡，在CPU上借用ollama服务工具，也可以一键体验对话式语言模型。
中文大语言模型 Llama-2 7B（或13B） 本地化部署 （国内云服务器、GPU单卡16GB、中文模型、WEB页面TextUI、简单入门）
2401_85280106的博客
05-29 950
nvidia-smi注意 ： 使用 nvidia-smi 查看 CUDA 版本必须是 11.8。
6G内存运行Llama2-Chinese-7B-chat模型
TH_NUM的博客
07-29 2109
6G内存笔记本运行7B大模型
【Llama2-Chinese】搭建本地llama2-chinese中文模型步骤
weixin_42316938的博客
12-19 1455
Llama2-Chinese本地环境搭建步骤说明，以及运行中遇到的问题
Llama2-chat-7B 开源中文版强势来袭！
zenRRan的博客
07-22 1627
7月18日 Meta AI 开源了自家新一代大语言模型模型Llama2 系列。但是，许多朋友在试用后发现不论是其base版本还是chat版本，几乎无法约束模型进行中文对话。因此，广大同僚迫切的希望能有一个具备中文能力的Llama2供大家使用和研究。至此之际，我们ChinChunMei小分队决定启动一个中文版Llama2 开源项目，为大家提供不同数据规模，不同任务，不同训练方案下全系列的中文版Lla...
【AIGC】Llama2-7B-Chat模型微调
feifeiyechuan的博客
09-19 1388
训练机器：4*RTX3090TI (24G显存)python环境：python3.8, 安装。2）创建deepspeed配置文件目录。3）创建deepspeed配置文件。1）创建模型输出目录。
llama2-7b-chat-hf部署步骤（cpu版本）
PMONONOKE的博客
08-22 2706
3.把下载好的模型LLama-2-7b-chat-hf移入 /llama.cpp/models中。4.在llama.cpp目录中执行下面的命令安装依赖。2.进入llama.cpp文件夹并make。6.进行4 bit量化。7.使用交互模式运行。
下载meta-llama/Llama-2-7b-hf
计算机菜鸟
09-07 5379
遍查原因，是因为没有proxy，使用这个命令。使用huggingface提供的下载方法。
大模型部署-基于Rust+CUDA加速部署LLaMA-7b-附项目源码+流程教程-优质项目实战.zip
05-25
本文将深入探讨如何利用Rust编程语言与CUDA技术来加速部署LLaMA-7b这样的大规模预训练模型，同时结合提供的项目源码和流程教程，帮助读者实现高质量的项目实战。 首先，LLaMA-7b是一个极其庞大的语言模型，拥有超过...
支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA
08-21
中文大模型微调(LLM-SFT), 数学指令数据集MWP-Instruct, 支持模型(ChatGLM-6B, LLaMA, Bloom-7B, baichuan-7B), 支持(LoRA, QLoRA, DeepSpeed, UI, TensorboardX),
Llama2-Chinese项目：6-模型评测
NLP工程化
10-05 208
测试问题筛选自AtomBulb[1]，共95个测试问题，包含：通用知识、语言理解、创作能力、逻辑推理、代码编程、工作技能、使用工具、人格特征八个大的类别。
Meta LlaMA 2 最强的AI大语言模型！完全免费开源了！！附最新下载方式
namekong8的博客
07-24 3517
普通GPU建议选择Llama-2-7b-chat模型，如果你的GPU比较强，建议选择Llama-2-13b-chat 或者 Llama-2-70b-chat 模型，需要注意的是：下载是需要官方审核的，但是非常容易，我注册后大概只等了5分钟左右就收到审核通过信，就可以下载了。为了更方便安装，建议安装 LlaMA 2 的 GGML模型：【
一文就懂大语言模型Llama2 7B+中文alpace模型本地部署
勿忘初心,方得始终
10-13 2608
大语言模型Llama2 7B+中文alpace模型本地部署
LLM - Chinese-Llama-2-7b 初体验
BITDDD小栈
07-25 6505
Chinese-Llama-2-7b 初体验。
llama2-7b-hf部署
09-09
要部署LLama2-7B-Huggingface模型，您可以按照以下步骤进行操作： 1. 首先，将模型转换为适用于Huggingface的格式。使用以下命令将模型转换为Huggingface格式： ``` python convert.py models/LLama-2-7b-chat-hf ``` 2. 接下来，对转换后的模型进行4位量化，以减小模型的大小。使用以下命令进行4位量化： ``` ./quantize ./models/LLama-2-7b-chat-hf/ggml-model-f16.gguf ./models/LLama-2-7b-chat-hf/ggml-model-q4_0.gguf q4_0 ``` 3. 现在，您已经准备好部署LLama2-7B-Huggingface模型了。您可以通过以下方式之一获取LLama2-7B-Huggingface版本： - 访问LLama2-7B官方网站获取官方版本 - 在Huggingface模型库中搜索并下载LLama2-7B-Chat Huggingface版本 请根据您的实际需求选择其中一种方式来获取和部署LLama2-7B-Huggingface模型。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值