ChatGLM模型实际应用的知识点

已于 2024-01-10 20:28:38 修改
阅读量1.1k 收藏 23
点赞数 22
分类专栏： 大模型 文章标签： 自然语言处理 nlp
于 2024-01-10 20:23:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GS2333/article/details/135504497
版权

ChatGLM模型实际应用的知识点

如何围绕GLM打造行业/领域模型

GLM、百川、通义千问等模型的性能已经得到了广泛的认可，本文主要根据GLM的公开讲座记录如何使用国产大模型做一些下游应用部署。

GLM的特点

模型优势

  • 指令理解能力强：由于使用双向注意力建模了输入指令
  • 无损量化：INT4的量化下仍表现出较好的性能（量化效果好）
  • 训练效率高：需要的训练样本较少

代码/部署优势

  • 训练框架成熟：支持多机、多卡
  • 高效推理框架：支持加速、量化、分布式
  • 跨平台：支持华为、海光、英伟达等平台

GLM3的新能力

  • 多模态看图CogVLM
  • 代码增强Code Interpreter
  • 网络搜索增强WebGLM
  • 语义能力和逻辑能力
  • 更小的模型（1.5,3,6）

行业模型的打造

  • 模型不能当知识库用，glm或者GPT4模型只有70%-85%的准确率，知识库可以达到95%。

模型选择

模型选择

模型选择上划分

  • 低资源-6b
  • 数据大或需要推理能力-130b
  • 代码插件-CodeGeeX
  • 代码问答-6b

任务-方法上划分

  • 覆盖面广，没见过的领域-Pre-training
  • 垂直领域数据量小、通用技能、垂直技能（finetuning）
  • 垂直领域数据量大、低资源（P-tuning）
  • 时效性-knowledge-base
  • 推理能力-需要更大的模型

数据选择

  • 多样性？ --涵盖多种模板
  • 智能化？ --高质量人工标注
  • 数据分布合理？ --分布会引入不必要的倾向性

预训练语料

语料准备

  • 语料准备要有以下特性：
    • 丰富度
    • 权威性
    • 时效性
  • 语料要做以下处理：
    • 过滤（去除空格、表情包、隐私数据、不良内容）（主要使用正则）
    • 采样（保证数据分布合理，根据所需要领域做重点设置）
    • 去重（删除相似度高的语料，使用SimHash等进行模糊去重、使用基于子串的精确去重）
    • 混合（控制比例）
  • STF语料
    SFT

垂直大模型的探索

  1. 阅读大量本文（增量预训练）
  2. 与行业对话场景对齐（高质量行业对话）
  3. 优化输出结果质量和可靠性（工程化优化方案）
    行业案例

常见问题

  • 乱码
  • 冗余信息
  • 其他
    常见问题

模型训练

  • 语料很大的时候学习率要很低（1-2个G算少的）
  • batchsize可以调一下
  • 一般一轮就够了
    训练相关信息

大模型评测

  • 构造行业内的问题：
    • 客观：就是客观题
    • 主观：1.中每个任务类型的问题构建10-20道，之后再在2.中做人工评测
      大模型评测

应用示例

在这里插入图片描述
在这里插入图片描述

行业模型的行业应用

应用场景

在这里插入图片描述

技术挑战

在这里插入图片描述

金融方案架构

在这里插入图片描述

知识库问答

在这里插入图片描述

研报案例1

在这里插入图片描述](https://img-blog.csdnimg.cn/direct/16d433218e1f4241967ec7cf380fdf8c.png)

  • 研报不好写，但是参考人的行为方式可以做好
  • 人先会看很多相似的研报，然后再根据数据写
    在这里插入图片描述
  • 读三五篇研报，生成别人研报的大纲（微调）
    在这里插入图片描述
  • 根据大纲生成段落
    在这里插入图片描述
  • 数据更新

研报案例2

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

WHY-233
关注
专栏目录
从零开始大模型开发与微调：最强的中文大模型—清华大学ChatGLM介绍
程序员光剑
06-02 357
从零开始大模型开发与微调：最强的中文大模型—清华大学ChatGLM介绍 1.背景介绍 1.1 人工智能大模型的兴起 近年来,人工智能领域取得了长足的进步,其中大模型的出现引领了这一浪潮。大模型指的是拥
TensorRT-使用TensorRT部署ChatGLM2-6B大模型-优质大模型部署项目实战.zip
03-04
以下是关于TensorRT和ChatGLM2-6B大模型部署的关键知识点： 1. **TensorRT简介**：TensorRT是由NVIDIA开发的一款高性能深度学习推理引擎，专门针对GPU进行优化。它通过分析模型结构，进行静态图优化，如层融合、...
chatglm实现基于知识库问答的应用
爱吃回锅肉的胖子
04-18 1万+
本文旨在通过介绍ChatGLM的使用来讲述如何将一个开源的语言模型应用于智能问答，知识库问答的场景中，通过一系列实操例子来理解整个应用思路。本文章仅仅介绍了最简单的通过向量索引库加AI模型加提示工程来实现知识库问答的方案，其中向量索引和文档的处理非常原始与粗糙，想要实现更加精准的匹配还需要根据实际文档内容和场景来进行修改。相关代码已上传github感兴趣的同学可以 clone 下来跑一跑。
如何能基于prompt tuning v2训练好一个垂直领域的chatglm-6b
weixin_41046245的博客
04-10 4671
如何能基于prompt tuning v2训练好一个垂直领域的chatglm-6b首先先抛出一个问题，是不是所有的文本生成数据集都适合用chatglm 6B的模型进行微调。那我们今天找到了三个数据集，分别为百科数据集、法律问答数据集、论文题目与摘要数据集、专利名称与专利摘要数据集。官方的广告数据集是如下结构的官方的多轮对话数据集是如下结构的今天的所有实验都是探索单轮生成chatglm-6B上的适配性。ptuning chatglm 6B中有两个数据集作为标准的官方微调数据集案例。
ChatGLM2-6B、ChatGLM-6B 模型介绍及训练自己数据集实战
热门推荐
dream_home8407的博客
04-12 4万+
ChatGLM2-6B 模型介绍及训练实战
大模型ChatGLM简介及应用情景
brucexia的专栏
12-20 1211
标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿个参数的ChatGLM-6B虽然规模不及千亿模型的ChatGLM-130B，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。具体来说，ChatGLM-6B具备以下特点。较低的部署门槛：在FP16半精度下，ChatGLM-6B至少需要13GB的显存进行推理，结合模型量化技术，这一需求可以进一步降低到 10GB（INT8）和 6GB（INT4），使得 ChatGLM-6B 可以部署在消费级显卡上。
ChatGLM2-6B模型推理流程和模型架构详解
jpw41的博客
10-28 1万+
ChatGLM2-6B模型结构拆解和推理流程，含具体的矩阵维度拆解。
基于chatGLM的部署模型，包含前端模型和部署教程.zip
06-24
通过这个压缩包中的资源，你可以全面地学习ChatGLM模型的部署和应用，不仅可以提高你的技术能力，也为实际项目开发打下坚实的基础。记得在实践过程中不断探索和学习，理论与实践相结合，才能真正掌握大语言模型的...
构建本地知识库的ChatGLM问答系统实现.zip
06-24
构建本地知识库的ChatGLM问答系统主要涉及以下几个关键知识点： 1. **大语言模型（Large Language Models）**：这些模型具有数亿甚至数千亿的参数，如BERT、GPT、Turing NLG等。它们通过大规模的无监督学习，学会了...
ChatGLM学习
银晗的学习博客
09-07 3068
在传统的自注意力机制中，输入序列中的每个位置都会计算一个注意力权重，用于对其他位置的信息进行加权聚合。而在双流自注意力机制中，会引入两个注意力流，分别用于处理不同类型的信息。它是基于自注意力机制（self-attention）的扩展，通过引入两个独立的注意力流来处理不同类型的信息。，从其中采样文本span{s1，· · ·，sm}，其中每个si表示连续令牌的跨度，并用单个掩码替换si，要求模型对它们进行自回归恢复。：条件独立性假设，预测每个mask的时候是并行的，没有考虑mask之间的关系。
ChatGLM模型详解及其应用场景探索
最新发布
bishedaima_com_e的博客
06-09 218
标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿个参数的ChatGLM-6B虽然规模不及千亿模型的ChatGLM-130B，但大大降低了推理成本，提升了效率，并且已经能生成相当符合人类偏好的回答。具体来说，ChatGLM-6B具备以下特点。再比如工业机器人领域，初看起来和ChatGPT、ChatGLM没什么关联，但是机器人的操作本质上是代码驱动的，如果利用人工智能让机器直接理解自然语言，那么中间的调试过程将大大减少，工业机器人的迭代速度很可能呈指数级上升。
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
weixin_43646592的博客
05-30 2019
ChatGLM基座 |《GLM: General Language Model Pretraining with Autoregressive Blank Infilling》
ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级
丨汀、的博客
11-15 6497
ChatGLM3-6B：新一代开源双语对话语言模型，流畅对话与低部署门槛再升级
【玩转 GPU】本地部署大模型--chatGLM（尝鲜篇）
AAI666666的博客
05-17 1244
本文主要介绍ChatGLM-6B 的本地部署，提供更保姆级别的教程，让完全不懂技术的同学，也能在本地部署大模型～在19年曾经尝试过使用，当时就被大模型效果惊艳到啊，只是没想到短短3年多，大模型效果提升这么快。学不完，根本学不完…大模型实在太火了，终于还是忍不住对它下手。今天介绍如何在本地部署大模型尝鲜，后面有时间会持续出大模型技术原理篇。大语言模型（Large Language Model），是一种人工智能模型，旨在理解和生成人类语言。
【大模型】更强的 ChatGLM3-6B 来了，开源可商用
Zack的博客
12-02 3230
ChatGLM3-6B
ptuning v2 的 chatglm垂直领域训练记录
weixin_41046245的博客
04-08 3116
第二我要减小十倍的学习率，观察一下减小十倍的学习率能不能提升ptuning的效果。基于终端的交互，基于简单界面的交互，基于fastapi框架提供的接口进行交互。从中国大百科爬下来的数据，有一些标题的输入是比较短的。喜欢大模型的小伙伴可以加我的 15246115202 一起交流训练大模型所需要的细节都有哪些。用这样的方式去加载已经ptuning训练好的模型就可以开始测试我们自己训练的数据集的效果了。找到了一些中国大百科的一对一对的数据集来ptuning chatglm 6B的对话模型。
大模型时代下的数据治理：AI序幕拉开，垂直行业模型如何加速突破？
数据一哥，公众号：数据社
05-23 89
大家好，我是一哥，好久不发文，今天送三本书！--文末获取赠书--随着ChatGPT和其他大语言模型（LLM）的快速发展，AI已成为我们工作和生活中不可或缺的一部分，并从简单的文本生成逐渐演变成为能够处理复杂语义理解和生成的高级AI系统。这些模型的能力和应用范围的扩展，不仅标志着技术的进步，也标志着它们在实际业务中已经从辅助角色逐步走向舞台中央。01大模型的进化与升级通用大模型通常基于大量多样化的数...
一张图说清楚：大模型“大”在哪？ChatGLM模型结构详解
xian0710830114的专栏
05-06 4810
大型模型的神秘并不是不可透视的，今天我们以ChatGLM-6B为例，解析一下模型结构和代码。你会发现，大模型结构并没有那么神秘，相反还挺清晰的，就是Transformer的decoder改造而来的。我们还会看到模型中参数最密集的部分，这也是模型“大”的原因。
单卡3090可得专属ChatGPT：使用LoRA+ChatGLM
qq_69491484的博客
04-14 1894
针对ChatGLM模型，因为其本身预训练的语料就包含了大量中文，已经能生成相当符合人类偏好的回答，因此对其进行进一步的通用中文指令精调意义不大， （这里给出我使用五万BELLE项目产生的中文指令数据集及在此基础上训练七个epoch后得到的LoRA权重，各位可自行对比与原ChatGLM的区别） 后续会直接尝试基于LoRA、P-tuning v2等参数有效性方法针对垂直领域进行训练。
chatglm模型保存
10-16
chatglm模型保存是将已经训练好的chatglm模型保存到硬盘上，以便在以后的使用中加载模型并进行预测。模型保存对于使用者来说是非常重要的，它可以避免重复训练模型，节省时间和计算资源。 chatglm模型的保存可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值