chatglm 测试1

最新推荐文章于 2024-07-25 19:26:54 发布
最新推荐文章于 2024-07-25 19:26:54 发布
阅读量398 收藏 8
点赞数 6
文章标签： 人工智能 python 语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43994782/article/details/136320976
版权
文章对比了量化前后GPU和CPU在推理阶段的内存消耗，量化后GPU显存占用大幅下降，CPU内存节省明显，展示了优化技术带来的内存效率提升。
摘要由CSDN通过智能技术生成

量化前 gpu推理
内存 58.40-56.48=2G 显存 13G

在这里插入图片描述

量化前 cpu推理
内存 80-56.48=23.52G

在这里插入图片描述

量化后使用cpu推理

内存 62.2-56.48=5.72G
在这里插入图片描述

量化后使用gpu推理

显存占用 18874-5603 = 13271 MiB 内存61.27-56.48=4.79G
在这里插入图片描述

嘿，不许笑
关注
  • 6
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
保姆教程白嫖GPU T4*2！Kaggle实现chatglm微调任务-单机多卡训练测试
05-27
1. **设置Kaggle环境**：首先，你需要在Kaggle上创建一个帐户，然后在个人空间内创建一个新的Notebook。Kaggle Notebooks允许你直接在浏览器中编写和运行代码，而且可以无缝连接到Kaggle提供的GPU资源。 2. **导入...
ChatGLM、ChatGLM6B多用户访问接口
04-29
ChatGLM、ChatGLM6B多用户访问接口，支持...测试过相关的几个Github多用户工程，但是其中一些仍然不满足要求。本程序实现多用户同时访问Chat GLM的部署接口，包括http、websocket（流式输出，stream）和web页面等方式。
ChatGLM大语言模型
11-16
为了评估和改进ChatGLM，研究人员通常会使用一系列标准测试集，如GLUE、SuperGLUE等，这些测试集包含了各种语言理解任务，如情感分析、问答、文本推理等。通过对这些任务的性能进行量化，可以了解模型在不同场景下的...
chatglm-6b微调进行数学计算.zip
06-24
1. **大语言模型（Large Language Models）**：大语言模型是一种深度学习技术，通常基于Transformer架构，如BERT、GPT系列或本文提到的Chatglm。这些模型通过学习大量的文本数据，掌握了语言的内在结构和模式，能够...
ChatGLM2-6B（windows本地微调实践）
09-15
2、ChatGLM-Efficient-Tuning（Chat GLM版本1微调）框架 3、修改数据集 4、进行模型微调训练 5、进行模型微调测试 6、进行模型输出 7、ChatGLM2-6B-main加载微调后模型验证 注：环境自己搭建，我的用anadconda创建的...
为边缘开发由生成式 AI 驱动的视觉 AI 代理
专注于人工智能领域的小何尚
07-25 774
可视化 AI 智能体由 VLM 提供支持，您可以在其中用自然语言提出广泛的问题，并获得反映录制或直播视频中真实意图和背景的见解。这些智能体可以通过易于使用的 REST API 进行交互，并与其他服务甚至移动应用程序集成。这种新一代可视化 AI 智能体有助于总结场景、创建各种警报并使用自然语言从视频中提取可操作的见解。
【自然语言处理】概论（一）：自然语言处理概要
古月居
07-25 204
语言：语言就广义而言，是采用一套具有共同处理规则来进行表达的沟通指令，指令会以视觉、声音或者触觉等方式来传递。可以分为:自然语言、动物语言、计算机语言。。。自然语言人类在发展过程中形成的一种信息交流方式，包括口语和书面语，反映人类的思想。它自然地随文化演化，是人类用来沟通的指令，可以通过视觉、声音或触觉等方式传递。定义：自然语言处理是计算机科学和人工智能的一个分支，它旨在开发能够理解和生成人类语言的技术。通过建立形式化计算模型来分析、理解和生成自然语言的学科。
2024年7月16日~2024年7月22日周报
m0_53096519的博客
07-22 1071
本周完成论文初稿、5000小实验以及数据训练方式初了解。
随机数种子的作用
帆的博客
07-23 807
设置随机数种子（random seed）的目的是为了确保随机数生成器在每次运行时产生相同的随机数序列，从而保证实验结果的一致性。随机数种子通过初始化随机数生成器的内部状态，使得在相同的种子值下，随机数生成器每次调用时生成的序列是相同的。
常见的文心一言的指令
知码客
07-25 175
文心一言，作为百度研发的预训练语言模型“ERNIE 3.0”的一项功能，能够与人对话互动，回答问题，协助创作，高效便捷地帮助人们获取信息、知识和灵感。
GPU算力：驱动现代计算的引擎
UnityBoy的博客
07-22 605
在当今的计算密集型应用中，GPU（图形处理单元）算力已成为推动科学计算、人工智能、数据分析等领域发展的关键因素。GPU最初设计用于处理复杂的图形和图像任务，但随着技术的进步，它们已经演变为通用并行计算的强有力工具。本文将探讨GPU算力的基本概念、重要性、应用场景以及如何充分利用GPU算力。
安装TensorRT各自小库版本问题
Ppandaer的博客
07-24 214
降版本：protobuf3.19，onnx 1.12。
Adam 和 RMSprop优化算法
Never Give Up
07-24 764
RMSprop 是一个非常有效的、但相对简单的适应性学习率方法。Adam 在 RMSprop 的基础上增加了动量项，通常提供更好的稳定性。在实际应用中，Adam 是更受欢迎的选择，因为它通常能够更快地收敛，尤其是在复杂的深度学习模型中。在选择优化算法时，考虑具体问题的性质是很重要的，有时候可能需要通过实验来决定使用哪种算法。
【权威发布】第二届机械电子工程与软件工程国际会议（MEESE 2024）
wx19980549140的博客
07-25 588
第二届机械电子工程与软件工程国际会议是一个专注于机械电子工程与软件工程领域交叉融合的国际盛会。会议旨在汇聚全球范围内的专家学者、研究人员及行业精英，共同探讨机械电子工程与软件工程领域的最新科研成果、技术进展及未来发展趋势。会议内容广泛而深入，涵盖了机械电子系统的设计与控制、智能传感与检测技术、嵌入式系统与物联网、软件架构设计、软件测试与维护、人工智能与机器学习在软件工程中的应用等多个方面。这些议题紧密结合当前科技发展的前沿，为参会者提供了丰富的学术内容和交流机会。
推荐几款支持AI剪辑并可使用个人视频素材的软件！
wly476923083的博客
07-25 541
点击编辑按钮，可以进入一键成片后的编辑状态，在这里你可以更换每段的视频素材、文案等，也可以编辑草稿，进行更多视频内容编辑，编辑完成后，点击右上角的“导出”按钮，就可以将编辑好的视频导出到本地！另一种是“输入和提取文案”，切换到“输入和提取文案”，自己输入视频脚本，或是点击“提取视频文案”功能键，选择要提取文案的视频，一键提取视频脚本，支持多次提取！③确认文案后，点击底部的“生成视频”，它会进行视频分析、智能包装，然后为你生成5个营销视频，你可以选择查看任意视频导出使用！
重塑生态体系 深挖应用场景 萤石诠释AI时代智慧生活新图景
最新发布
07-25 659
从“1+4+N”自然进化到“2+5+N”产品生态体系，萤石十年来不断迭代、不断升级，为家居生活带来更智慧的交互、更丰富的场景，萤石的下一个十年值得期待。来自全国各地的萤石合作伙伴、行业从业者及相关媒体，共聚杭州，共同见证拥抱AI的萤石，将如何全新升级，AI加持下的智慧生活又有何不同。用户只需轻轻抬起手腕，即可实现对家中智能设备的远程操控，如智能门锁可视对讲、安全警报的查看以及智能场景的控制等，极大地提升了生活的便捷性与智能化水平。，确保了数据的安全性，为用户提供更快、更便捷、更安全的家庭存储新选择。
【Week-G5】适用于图像翻译的pix2pix模型-Pytorch版本
qq_40724911的博客
07-24 502
本次主要学习Pix2Pix网络，常用于图像翻译，它的核心技术包括三点：（1）基于CGAN的损失函数：通过DropOut在生成模型中引入随机噪声z（2）基于U-Net的生成器：包含编码-解码结构，可以学习浅层到深层的特征（3）基于PatchGAN的判别器：输入图像被划分成块（Patch）
【Rust光年纪】数据科学与机器学习：深入了解Rust语言中的6个关键库
记录我的学习历程
07-22 1149
本文将重点介绍六个在Rust语言中具有重要作用的库和框架，分别是ndarray、linfa、tangram、juicer、leaf和rustlearn。这些工具提供了丰富的功能和灵活的API，为开发者们在数据处理、机器学习和自然语言处理等领域提供了便利。通过本文的阅读，读者将能够了解到这些工具的核心功能、使用场景、安装与配置方法以及API概览，帮助他们在Rust语言中进行相关领域的开发工作。
概率模拟（sigmoid、softmax）
MechMaster
07-23 897
sigmoid、softmax
chatglm微调测试环境
09-27
chatglm微调的测试环境需要安装以下环境和依赖： - chatglm2-6b的环境requirements.txt：protobuf、transformers==4.30.2、cpm_kernels、torch>=2.0、gradio、mdtex2html、sentencepiece、accelerate。 - Lora微调的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值