AIGC 实践历程之ChatGLM-6B

最新推荐文章于 2024-08-04 19:49:49 发布
最新推荐文章于 2024-08-04 19:49:49 发布
阅读量214 收藏
点赞数 3
文章标签： AIGC
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38694958/article/details/139514816
版权

创建并管理好环境

设备：

ROG笔记本  6G 显卡，16G CPU 

安装 Anaconda3 具体我有文章专写

tdm64-gcc-5.1.0-2.exe 如果只用CPU推理要安装这个这个资源我也免费提供(即使不用CPU也建议安装避免不必要麻烦，安装完事环境变量测一下版本是否打印，默认自动配置环境变量)

cuda_11.6.0_511.23_windows.exe 这个是GPU推理工具只针对英伟达显卡版本有要求具体看一下

CUDA Version:11.6

根据自己的来下载版本，别的版本下载地址：

https://developer.nvidia.com/cuda-toolkit-archive

网络很卡多试几次，我是用1个多小时

后续待写。。。

人多势众
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
chatglm-6b源码（不带模型）
10-08
"ChatGLM-6B源码（不带模型）"是一个与自然语言处理相关的软件或插件项目，其核心是ChatGLM模型的实现。ChatGLM，全称为Chat Generative Language Model，是一种用于生成对话的大型语言模型。源代码没有包含预训练的...
Chatglm2-6b-int4资源文件
10-12
Chatglm2-6b-int4资源文件
AI模型部署：Triton Inference Server部署ChatGLM3-6B实践
2401_85328934的博客
06-15 998
config.pbtxt搭建起了客户端和服务端的桥梁，下一步编辑自定义后端脚本model.py，它基于config.pbtxt中的约定抽取对应的数据进行推理逻辑的编写，model.py内容如下import osimport sysimport gcelse:# 日志输出传入信息prompt,# 由于history的结构，问和答是分开的因此*2# 日志输出处理后的信息。
文言一心，ChatGLM-6B和ChatGPT等模型概述
weixin_43829633的博客
06-21 2388
大模型在 NLP 任务中的出色表现确实为人工智能领域带来了新的发展和探索方向。语言作为思想的符号，是人类交流和表达的主要方式，因此理解和生成自然语言是通往通用人工智能（AGI）之路的一个重要方向。
2024-03-26 AIGC-大模型学习路线
技术之路
03-26 2565
熟悉主流LLM（Llama, ChatGLM, Qwen）的技术架构和技术细节；有实际应用RAG、PEFT和SFT的项目经验 较强的NLP基础，熟悉BERT、T5、Transformer和GPT的实现和差异，能快速掌握业界进展，有对话系统相关研发经验 掌握TensorRT-LLM、vLLM等主流推理加速框架，熟悉模型量化、FlashAttention等推理加速技术方案，对分布式训练DeepSpeed框架有实战经验 熟悉Pytorch，具备扎实的深度学习和机器学习基础，对C/C++、Cuda、计算机系统有一定
AI多模态模型架构之LLM主干(1)：ChatGLM系列
AIGCmagic的博客
06-13 1286
模态编码器(Modality Encoder, ME)：负责将不同模态的输入编码成特征。常见的编码器包括图像的NFNet-F6、ViT、CLIP ViT等，音频的Whisper、CLAP等，视频编码器等。输入投影器(Input Projector)：负责将其他模态的特征投影到文本特征空间，并与文本特征一起输入给语言模型。常用的投影器包括线性投影器、MLP、交叉注意力等。语言模型骨架(LLM Backbone)：利用预训练的语言模型，负责处理各种模态的特征，进行语义理解、推理和决策。
【腾讯云HAI域探密】- AIGC应用助力企业降本增效之路
热门推荐
wanmeijuhao的博客
12-03 1万+
高性能应用服务HAI”，它具有澎湃算力，即开即用，基于腾讯云GPU云服务器底层算力，提供开箱即用的高性能云服务。以应用为中心，匹配GPU云算力资源，助力中小企业及开发者快速部署LLM、AI作画、数据科学等高性能应用。尤其值得一提的是针对开发者，使用可视化的webUI界面和“可视化IDE”的jupyterlab大大的降低了调试的复杂度、降低应用使用的门槛，甚至经过简单的培训，让非开发者(运维人员)也可以参与到使用中来。
大模型应用实践：AIGC探索之旅
淘系技术
01-03 2680
随着OpenAI推出ChatGPT，AIGC迎来了前所未有的发展机遇。大模型技术已经不仅仅是技术趋势，而是深刻地塑造着我们交流、工作和思考的方式。本文介绍了笔者理解的大模型和AIGC的密切联系，从历史沿革到实际应用案例，再到面临的技术挑战和伦理监管问题，探讨这一技术浪潮如何引领我们进入一个智能化的未来。前言▐引言：AI时代，未来已来2022.11月30号OpenAI推出ChatGPT后随即爆火...
AI大模型探索之路-应用篇14：认识国产开源大模型GLM
寻道码路，探索编程之路的无限可能。
04-17 4673
在人工智能的浩瀚宇宙中，开源大模型如同璀璨星辰，引领着技术创新与应用探索的方向。国际领域的OpenAI无疑闪耀着夺目的光芒，但国内厂商亦步亦趋，逐渐展露头角。今天，我们将聚焦于国内主流的大模型，探寻它们的技术脉络与应用潜力，并特别解析智谱AI研发的GLM大模型系列，见证中国在全球AI舞台上的坚实步伐。
Transformer系列：注意力机制的优化，MQA和GQA原理简述
2401_85379281的博客
06-15 692
使用MQA，GQA的背景介绍MQA，GQA原理简述MQA，GQA推理加速分析ChatGLM2-6B中的MQA/GQA源码分析多查询注意力(Multi Query Attention，MQA)提出于2019年的论文《Fast Transformer Decoding: One Write-Head is All。
LLM大模型落地-从理论到实践
m0_70839135的博客
07-11 913
按个人偏好和目标总结了学习目标和路径（可按需学习），后续将陆续整理出相应学习资料和资源。
Windows下cpu部署运行清华大学ChatGLM-6B语言模型（详解).docx
06-08
在本文档中，我们将深入探讨如何在Windows操作系统下部署和运行清华大学开发的ChatGLM-6B语言模型。ChatGLM-6B是一款强大的开源对话语言模型，具备中英双语支持和图像理解功能，其基础是General Language Model (GLM...
chatglm3-6b.zip
03-18
《构建基于大模型的智能问答系统——以chatglm3-6b与bge-large-zh为例》 在当今的信息时代，智能问答系统已经成为人们获取知识、解决问题的重要工具。特别是随着深度学习技术的发展，大规模预训练语言模型在智能...
ChatGLM-6B的库
07-19
ChatGLM-6B是一个大型预训练模型，它在自然语言处理领域有着广泛的应用...而“ChatGLM-6B-main”这个文件很可能是项目的主分支，包含了项目的核心代码和资源。如果你对自然语言处理感兴趣，这个库将是一个宝贵的资源。
AIGC赋能智慧农业:用AI技术绘就作物生长新蓝图
u010079117的博客
08-04 654
农业机器人可以根据AIGC生成的作物生长模型,实现全自动的农事操作;通过分析AIGC生成的作物生长图像,农业专家和智能算法就可以及时发现作物生长过程中的异常情况,并根据图像反映的长势、病虫害等信息,优化灌溉、施肥、打药等农事操作,最终实现农田的精准管理。比如,我们可以用ControlNet技术,通过简单的笔触描述,就生成所需的田间场景,然后利用Segment Anything等语义分割技术,自动标注出作物、土壤、农具等对象,最后再将生成模型与作物生长模型结合,就可以得到一幅"有血有肉"的作物生长全景图。
当AIGC走进温室大棚:AI+“种菜“的前世今生
u010079117的博客
08-04 766
尤其是随着设施农业的快速发展,如何在人工可控的大棚环境实现精准高效的作物管理,已然成为智慧农业亟待攻克的难题。将AIGC引入智慧农业,有望显著提升传统农业的信息化、自动化、智能化水平,破解农业生产中的诸多难题。作为人工智能领域的明星技术,AIGC通过大规模预训练模型,再结合少量任务相关数据微调,即可生成与任务高度匹配的文本、图像、语音等多模态内容。再次,农业知识的获取成本高,如何将专家经验与数据驱动的AIGC模型有机融合,也是一大难题。下面,就让我们走进AIGC赋能的未来农场,体验一场想象力的盛宴吧。
AIGC：基于ON-DO模型的AA游戏脚本规范（AA Game Script）
最新发布
码客 卢益贵 ygluu
08-04 827
AIGC在游戏应用需要模型抽象不要指望AI能有0-1输出一个完整无误的MMORPG游戏客户服务端代码及配置表。AI和游戏中间必需有一层抽象来简化AI的操作。本文是配置层的抽象。像lua这样的脚本是一门泛行业的脚本，她神通但又逻辑性太强，对于游戏策划来说能掌控好她也不容易。本文介绍一种以特定游戏需求为抽象的脚本规范，均可以用文本表达式或者lua脚本完成。她的目的是抽象和简化配置逻辑，让和AI。
【AIGC半月报】AIGC大模型启元：2024.08（上）
LeeZhao的博客
08-02 215
【AIGC半月报】AIGC大模型启元：2024.08（上）
chatglm-6b-int4和chatglm-6b的区别
07-27
根据引用\[1\]和引用\[2\]的信息，ChatGLM-6B-INT4和ChatGLM-6B是两个不同的模型。ChatGLM-6B-INT4是ChatGLM-6B模型的一个变种，它使用了INT4量化技术，可以在保持相对较高的模型性能的同时，减少模型的存储空间和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值