[项目实训]Chatglm-6B本地部署(一)——依赖库安装

已于 2024-05-30 15:28:16 修改
阅读量323 收藏 5
点赞数 1
文章标签： conda pip 神经网络 深度学习 自然语言处理
于 2024-04-08 22:19:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_51300331/article/details/137524834
版权

      ChatGLM-6B是清华大学知识工程和数据挖掘小组（Knowledge Engineering Group (KEG) & Data Mining at Tsinghua University）发布的一个开源的对话机器人，项目地址为：GitHub - THUDM/ChatGLM-6B: ChatGLM-6B: An Open Bilingual Dialogue Language Model | 开源双语对话语言模型

       首先从github下载ChatGLM-6B的压缩包，根据目录下的requirements.txt自动安装Python依赖的库。在首次安装时出现了报错，如下图所示：      本地pydantic的版本过高

      原因是本地的pydantic版本过高，与chatglm冲突，解决的方法是使用anaconda创建了一个新的python解释器环境，在新环境中安装依赖库，成功。 

安装依赖库成功

依赖环境配置成功后，下载预训练结果。 这里选用的是THUDM/chatglm-6b-int4 at main (huggingface.co)

是年轮蛋糕
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【AI大模型应用实战】AI大模型应用架构（ALLMA）白皮书
禅与计算机程序设计艺术
06-30 9105
随着大模型浪潮的兴起，生产力将发生质的变化，从而引发生产力和生产关系的重塑。随着模型能力的提升和使用成本的降低，基于大模型构建应用将成为主流趋势。然而，应用层能否与大模型高效交互，将成为产品方案探索效率和效果的关键因素。因此，在模型之上的工程架构中，必须构建一套完整的大模型交互管道（Interface），将应用层（Application） 和模型层（Model）进行串联，为诸如Prompt Engineering、Fine-Tuning和模型评估等关键环节提供全面支持，以实现产品方案探索的降本增效 ....
大规模语言模型从理论到实践 有监督下游任务微调
AGI通用人工智能之禅
08-27 159
大规模语言模型从理论到实践：有监督下游任务微调 关键词： 大规模语言模型，微调，自然语言处理，预训练，监督学习，Transformer，BERT，NLP，下游任务
ChatGLM 6B 部署及微调 【干货】
Samle的博客
11-27 1678
ChatGLM 6B 小模型微调训练及部署、垂直领域智能助理、接口实现
手把手教大家在本地运行ChatGLM3-6B大模型（一）
weixin_46067744的博客
03-23 1762
最低要求： 为了能够流畅运行 Int4 版本的 ChatGLM3-6B，我们在这里给出了最低的配置要求： 内存：>= 8GB 显存: >= 5GB（1060 6GB,2060 6GB）为了能够流畅运行 FP16 版本的，ChatGLM3-6B，我们在这里给出了最低的配置要求： 内存：>= 16GB 显存: >= 13GB（4080 16GB）预训练方法：ChatGLM3 采用大规模的中文语料库进行预训练，通过无监督学习和有监督学习相结合的方式，提高模型的语义理解和生成能力。现在你可以运行模型了。
全网最新版ChatGLM-6B开源模型环境详细部署及安装——如何在低显存单显卡上面安装私有ChatGPT GPT-4大语言模型
热门推荐
小胡说人工智能的博客
04-27 1万+
ChatGPT的爆火让许多人都想要开发自己的大型语言模型，但是，由于限制，许多人最终都只能在开发的早期阶段止步不前。近期清华大学发布了对话机器人ChatGLM-6B的开源版本，这个中英文语言模型拥有千亿参数规模，并且对中文进行了优化。本次开源的版本是其60亿参数的小规模版本，仅需要6GB显存就可以在本地部署。这意味着，即使是在普通显卡的电脑上，也可以轻松部署一个类似于GPT的大型语言模型。期待中国版ChatGPT更多的创新和突破！
GPT：清华ChatGLM-6B中文对话模型部署
木头
04-13 2985
简述了清华ChatGLM-6B中文对话模型部署
ChatGLM2-6B 部署
日积月累，天道酬勤
09-07 2125
主要介绍如何部署ChatGLM2-6B，但前提是你要有足够的GPU显存或内存。
生物信息学/生物化学/物理/统计学/政治/数学/概率论/AI/AGI/区块链
aming小老弟
01-24 1332
多看 算法 论文。
LLM+Embedding构建问答系统的局限性及优化方案
安静的软件工程师
03-18 1736
LLM+Embedding构建问答系统的局限性及优化方案
The What, Why, and How of Context Length Extension Techniques in Large Language Models
c_cpp_csharp的专栏
03-02 443
大型语言模型（LLM）的出现代表了自然语言处理（NLP）的一个显著突破，有助于在文本理解和生成方面取得实质性进展。然而，在这些进步中，值得注意的是，LLM在上下文长度外推方面经常面临限制。理解和扩展LLM的上下文长度对于提高其在各种NLP应用程序中的性能至关重要。在这篇调查论文中，我们深入探讨了为什么它是必不可少的多方面问题，以及高级技术可能给NLP应用带来的潜在转变。我们研究了与延长上下文长度相关的固有挑战，并对研究人员使用的现有策略进行了有组织的概述。
告别卡顿：Miniforge如何优化你的Python环境告别Conda
08-28 301
用户可以根据自己的需要安装额外的包，这使得 Miniconda 在磁盘空间有限或需要定制环境时非常有用。Miniconda 的安装速度通常比 Anaconda 快，因为它的初始下载包更小。Miniforge 在性能上的优势主要体现在其轻量级和社区驱动的特性，而 Anaconda 和 Miniconda 则提供了不同程度的预装包和工具，以满足不同用户的需求。在 2023 年 8 月发布的 Miniforge 23.3.1 之后，Miniforge 和 Mambaforge 基本上变得相同。
【conda】导出和重建 Conda 环境
2136
08-27 795
Conda 是一个强大的包管理工具，用于管理 Python 和其他语言的依赖包。无论是为了共享你的开发环境还是迁移到新机器，了解如何导出和重建 Conda 环境是非常重要的。通过这些步骤和解决方案，你可以高效地导出和重建 Conda 环境，确保你的开发环境在不同系统间的一致性。导出 Conda 环境允许你保存当前环境的所有包和版本信息，以便在其他机器上重建相同的环境。部分中的通道在目标系统上可用。文件创建一个新的 Conda 环境，并安装所有指定的包。文件，删除不需要的部分，特别是可以排除系统特定的包。
AI学习记录 - 对抗性神经网络
weixin_43954090的博客
08-28 342
学习机器学习到一定程度之后，一般会先看他的损失函数是什么，看他的训练集是什么，训练集是什么，代表我使用模型的时候，输入是什么类型的数据。对抗神经网络其实可以这样子理解，网上一直说生成器和判别器的概念，没有触及到本质。
神经网络——CIFAR10小实战
qq_37441377的博客
08-28 424
Sequential的使用：将网络结构放入其中即可，可以简化代码。找了一个对CIFAR10进行分类的模型。
深度学习与神经网络戴做讲解
2401_85886655的博客
08-25 659
检测，分割，视频处理，估计，人脸，目标跟踪，图像&视频检索/视频理解，医学影像，GAN/生成式/对抗式，图像生成/图像合成，神经网络结构设计，数据处理，模型训练/泛化，图像特征提取与匹配，视觉表征学习，模型评估，多模态学习，视觉预测，数据集，小样本学习/零样本学习，持续学习，迁移学习/domain/自适应，场景图，视觉定位/位姿估计，视觉推理/视觉问答，对比学习，机器人，半监督学习/弱监督学习/无监督学习/自监督学习，其他。目标检测，行人重识别，车辆重识别，超分重建，图像分割，图像分类等等。
Python在神经网络中优化激活函数选择使用详解
Rocky006的博客
08-28 992
在神经网络中，激活函数扮演着至关重要的角色。它的主要作用是引入非线性因素，使得神经网络能够处理复杂的非线性问题。如果没有激活函数，神经网络仅仅是线性模型的堆叠，无法胜任深度学习中的各种任务。本文将深入探讨几种常用的激活函数，包括Sigmoid、Tanh、ReLU及其变种，并通过具体的代码示例展示它们在Python中的实现和应用。
深度学习100问27:什么是截断的BPTT
最新发布
yyq916的博客
08-31 142
截断的 BPTT 呢，先确定一个合适的长度，就好比决定每一小段故事有多长。这种方法在很多地方都大显身手哦，比如自然语言处理里训练语言模型、搞机器翻译的时候，就像一个得力的小助手。想象一下，你有一个超级长的故事要讲，一口气从头讲到尾可太难啦，而且很容易把自己绕晕。这时候呢，截断的 BPTT 就像把这个长故事分成一小段一小段来讲。在循环神经网络训练那些长长的序列数据的时候，如果直接像个“愣头青”一样用传统方法，那计算量会大得吓人，还可能出现梯度消失或者爆炸的情况，就像烟花放一半突然熄火或者炸得不可收拾。
【深度学习与NLP】——深度卷积神经网络AlexNet
lingxw的博客
08-27 1036
AlexNet 的出现极大地推动了深度学习在计算机视觉领域的发展。它证明了深度神经网络在图像识别等任务上的强大能力，为后续的研究提供了重要的参考和启示。此后，各种深度神经网络架构不断涌现，性能也不断提升。总之，AlexNet 是深度学习发展历程中的一个重要里程碑，它的创新之处和优异性能对计算机视觉领域产生了深远的影响。
【王树森】RNN模型与NLP应用(2/9)：文本处理与词嵌入（个人向笔记）
hxdxiaoming的博客
08-29 689
本次课将使用下列数据集：关于电影评价的数据集。
chatglm-6b模型部署
05-22
ChatGLM-6B是一个基于GPT-3的AI模型，由于其庞大的模型大小和计算资源需求，部署可能会有一些挑战。以下是一些常见的部署方案： 1. 使用云服务：您可以使用像AWS、Azure或Google Cloud这样的云服务提供商来部署ChatGLM-6B模型。这些服务提供了高性能计算资源和强大的虚拟机，可以满足ChatGLM-6B的计算需求。 2. 使用分布式计算：另一种部署ChatGLM-6B的方法是使用分布式计算，例如Apache Spark或Apache Flink。这些框架提供了高速数据处理和并行计算能力，可以用于加速ChatGLM-6B的计算速度。 3. 使用专业硬件：为了更好地支持ChatGLM-6B的计算需求，您可以考虑使用专业硬件，例如GPU或TPU。这些硬件提供了比传统CPU更高的计算速度和更好的并行处理能力。 4. 使用边缘设备：如果您需要将ChatGLM-6B模型部署到边缘设备上，例如智能手机或IoT设备，您可以考虑使用TensorFlow Lite或ONNX等轻量级框架。这些框架可以将ChatGLM-6B模型压缩到较小的尺寸，并在边缘设备上运行。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值