TPU-MLIR——实现Chatglm2-6B大模型移植部署

于 2023-09-21 00:00:00 发布
阅读量474 收藏 2
点赞数 1
文章标签： mlir 算法 人工智能 硬件工程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lily_19861986/article/details/133070484
版权

TPU-MLIR——实现Chatglm2-6B大模型移植部署

本项目实现BM1684X部署语言大模型ChatGLM2-6B。通过TPU-MLIR编译器将模型转换成bmodel，并采用c++代码将其部署到BM1684X的PCIE环境，或者SoC环境。

编译chatglm2-6B模型

1. 下载‘Chat-GLM2-6B’

在这里插入图片描述

2. 对该模型做两点修改：

一是将config.json文件中seq_length配置为512；
二是将modeling_chatglm.py文件中的如下代码：在这里插入图片描述

修改为：
在这里插入图片描述

这样修改可以提升效率，使用masked_fill效率低下

加载并编译TPU-MLIR：
在这里插入图片描述

下载本项目‘ChatGLM2-TPU’
在这里插入图片描述

编译模型

  1. 指定’ChatGLM2-6B‘的python路径
    在这里插入图片描述

  2. 导出所有onnx模型，如果过程中提示缺少某些组建，直接’pip install‘即可
    在这里插入图片描述

  3. 对onnx模型进行编译，生成bmodel，这个过程会花一些时间，最终生成’chatglm2-6b.bmodel’文件
    在这里插入图片描述

移植模型到开发板
  1. 将chatglm2-6b.bmodel和tokenizer.model拷贝到开发板运行环境。(tokenizer.model来自ChatGLM2-6B)
    在这里插入图片描述

C++部署测试（1684X开发板）

编译模型

  1. 将sentencepiece编译后/workspace/sentencepiece/build/src/目录下SoC版本的libsentencepiece.a替换到此目录的/lib/下，进入chatglm2-tpu/demo目录进行编译

    在这里插入图片描述
    在这里插入图片描述

    如果要编译SoC环境，则修改CMakeLists.txt为以下内容：【 CMakeLists.txt在上一级目录 】
    在这里插入图片描述

  2. 编译
    在这里插入图片描述

  3. 将ChatGLM2-TPU整个目录拷贝到开发板运行环境就可以执行了。
    在这里插入图片描述

连接开发板

通过本地网络适配器网线直连方式，IP地址：192.168.150.1，用户名：linaro 密码：linaro
在这里插入图片描述

也可通过串口Serial连接，设置COM口，Speed为115200
成功进入显示linaro@bm1684的Ubuntu系统
通过LAN口网络连接方式，IP地址：172.xxx.xxx.xxx(DHCP获取的地址，可通过串口ifconfig查看IP)，用户名：linaro 密码：linaro

开发板运行

进入到/data/目录，查看scp传输的文件：
在这里插入图片描述

执行编译好的C++代码，即可实现在线chat
在这里插入图片描述

c++部署完成！

python部署测试（1684x开发板）

编译模型

  1. 进入chatglm2-tpu/python_demo目录进行编译
    在这里插入图片描述

    如果要编译SoC环境，则修改CMakeLists.txt为以下内容：【 CMakeLists.txt在上一级目录 】
    在这里插入图片描述

  2. 编译
    在这里插入图片描述

    编译成功会生成ChatGLM2.cpython-38-x86_64-linux-gnu.so，之后将chatglm2-6b.bmodel放到python_demo目录下。

  3. 将ChatGLM2-TPU整个目录拷贝到开发板运行环境就可以执行了。
    在这里插入图片描述

连接开发板

通过本地网络适配器网线直连方式，IP地址：192.168.150.1，用户名：linaro 密码：linaro
在这里插入图片描述

也可通过串口Serial连接，设置COM口，Speed为115200
成功进入显示linaro@bm1684的Ubuntu系统
通过LAN口网络连接方式，IP地址：172.xxx.xxx.xxx(DHCP获取的地址，可通过串口ifconfig查看IP)，用户名：linaro 密码：linaro

开发板运行

进入到/data/目录，查看scp传输的文件：
在这里插入图片描述

运行
在这里插入图片描述

python部署完成！

算能开发者社区
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
博客
TPU编程竞赛系列｜第八届集创赛“算能杯“报名开启！
01-19 1242
CV1800B/SG200x 系列开发板是基于算丰CV1800B/SG200x处理器所设计的开源硬件，能够同时运行基于LINUX和RTOS的操作系统，为专业人士、工业OEM企业、物联网爱好者、业余爱好者、DIYers和创作者提供了一个可靠、低成本且极具功能的平台。我们期待参赛者们能够充分利用TPU算力，推动边缘设备智能化应用的创新和发展，在兼备边 缘系统创新性、实用性和复杂性的同时，鼓励将大语言模型、边缘计算等新兴技术应用于不同场景和垂直领域。可广泛用于教育、文旅、工业、园区、物联设备等。
博客
milkv-duo cvi-mmf 硬件加速 JPG 解码性能测试
01-19 966
本文是基于 nihui 老师的 opencv-mobile 对其支持 milkv-duo cvi-mmf 硬件加速 JPG 解码的测试。opencv-mobile 现已支持 milkv-duo cvi-mmf 硬件加速 JPG 解码仅供学习交流使用，侵删！opencv-mobile highgui 模块在运行时动态加载 cvi 库，JPG 硬件解码无需修改代码，与自动支持支持EXIF自动旋转，支持直接解码为grayscale。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于Real-ESRGAN的TPU超分模型部署
01-05 1381
也就是说，这个下采样的模糊核是预先定义好的。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作。SophonSDK是算能科技基于其自主研发的 AI芯片所定制的深度学习 SDK，涵盖了神经网络推理阶段所需的模型优化、高效运行支持等能力，为深度学习应用开发和部署提供易用、高效的全栈式解决方案。模型部署使用的是算能提供的C++版本的 SophonSDK中的bmcv等加速库进行图像加载、数据前处理、模型推理、数据后处理等操作[3]。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于QuickRNet的TPU超分模型部署
01-05 1154
为了结合1.2.1和1.2.2的优缺点，本方案提出使用膨胀推理多推少取的方案，将原始图像四周填充10个像素，采用192*192的滑窗，按照182的步长进行滑动，其中10为超参数。相比于1.2.1的方案，有重叠区域的分块类似的但是采用滑窗步距为96，这种方案可以有效的减少1.2.1重叠区域带来的问题，但是如何融合重叠区域的结果是比较大的问题，采用均值的方案会让重叠区域采样的效果变得平滑，但是降低了锐化的效果，并且不同的滑窗步距会影响niqe值和推理的速度。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于FSRCNN的TPU平台超分辨率模型部署方案
12-28 1449
我们比较GSR与CSR和GSR与ESR的t检验p值，相较后者，GSR与CSR的p值较大，这也就意味着，从统计平均的意义而言，GSR与CSR之间的统计特性更加接近。受此启发，对于增大图像分辨率的任务，直接通过插值算法放大的质量通常比使用超分辨率模型放大的效果更差，因此我们可以仅使用超分辨率模型放大图像中对视觉效果影响更大的一部分，从而在时间和效果之间达到更好的平衡。实验结果表明，我们的方法在牺牲一部分图像质量评估指标NIQE的情况下，显著减少了处理时间，在赛题给定的评价指标上具有较高的得分。
博客
【2023 CCF 大数据与计算智能大赛】基于TPU平台实现超分辨率重建模型部署 基于预训练ESPCN的轻量化图像超分辨率模型TPU部署方案
12-28 1333
考虑到TPU设备的计算性能相对较低，我们主要调研了轻量化的图像和视频超分辨率网络，并先后尝试了Real-ESRGAN[1]、NinaSR[4]、CARN、FSRCNN、ESPCN[2]等多种网络结构，最后选定了使用ESPCN。模型编译过程中需要确定输入张量的尺寸，虽然TPU文档里指出支持动态大小输入，但可用的SDK并未提供此功能，因此为了应对尺寸各异的输入图像，做统一尺寸的图像分块是必要的步骤。分块大小直接决定了分块数量，间接决定了模型处理处理的事件，因此合适的分块大小选取可以节省不必要的额外计算开销。
博客
拥抱开源生态，算能携手软件所 PLCT 实验室联合举办 RISC-V 软件移植优化锦标赛
11-17 264
RISC-V已在MCU/IoT领域出货数十亿，正向桌面计算、HPC、AI、数据中心等大算力领域挑战。为了推动RISC-V生态迅速发展，算能作为RISC-V生态的领先企业，与RISC-V 中国社区、中科院软件所PLCT实验室联合发起“RISC-V软件移植及优化锦标赛”活动。算能致力于成为全球领先的通用算力提供商，专注于深度学习、RISC-V 处理器等算力产品的研发和推广应用，遵循全面开源开放的生态理念 ，为互联网、城市运营、智算中心、泛安防、智能制造、AIGC等应用场景提供算力产品及整体解决方案。
博客
Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
11-08 634
近日，2023第五届全球校园人工智能算法精英赛正式开启报名。作为赛题合作方，清湛联合算丰承办了“算法专项赛”赛道，提供赛题。，同时为参赛选手提供了丰富的云端TPU资源及Airbox算力硬件。「面向Stable Diffusion的图像提示语优化」
博客
Duo cv1800b first time 搭建C编译及远程gdb环境
11-06 408
使用Duo 搭建C编译及远程gdb环境教程。
博客
stb_image jpg解码 RVV优化和在 milkv-duo 上的测试
10-12 168
来源：转载自https://forum.sophgo.com/t/stb-image-jpg-rvv-milkv-duo/240，原作者stb_image jpg解码 RVV优化和在 milkv-duo 上的测试。
博客
TPU编程竞赛｜算丰助力2023 CCF大数据与计算智能大赛！
10-09 332
Stable Diffusion模型以扩散过程为基础，能够精准捕捉图像细节和纹理，开创了图像生成领域的新可能性。但直接利用模型生成高分辨率图像的效率较低，通常需要将其与超分辨率重构模型结合。因此，借助TPU平台部署高效的超分辨率模型，有利于进一步挖掘Stable Diffusion模型潜力，提升高分辨率图像生成效率。
博客
TPU编程竞赛｜Stable Diffusion大模型巅峰对决，第五届全球校园人工智能算法精英赛正式启动！
10-09 2434
TPU编程竞赛，提供如何在TPU部署Demo关注算丰SOPHON，参与更多赛事。
博客
深度学习编译器关键组件
09-14 318
为了避免这种情况，DL编译器采用了两种方法来实现硬件相关的优化：1）在LLVM的上层IR（例如，基于Halide的IR和基于Polyhedral的IR）中执行特定于目标的循环变换；TVM将Halide IR改进为符号IR，它消除了对LLVM的依赖，重构了项目模块的结构和Halide的IR设计，追求更好的组织以及对graph-IR和前端语言（如Python）的可访问性。事实上，相同的操作在不同的数据布局中的性能是不同的，并且最佳的布局在不同的硬件上也是不同的。因此，DCE和CSE是在其他图优化之后应用的。
博客
实现CenterNet图像分割算法模型的转换和量化（SDK0301-转ONNX编译）
09-07 342
如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。如果模型用预处理后的npz文件做输入, 则不需要考虑预处理。如果模型是图片输入, 在转模型之前我们需要了解模型的预处理。然后用校准表, 生成对称或非对称bmodel。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。如果对称符合需求, 一般不建议用非对称, 因为 非对称的性能会略差于对称模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。输出的性能结果, 来估算模型最大的fps, 来选择合适的模型。
博客
Milk-V Duo开发板实战——基于MobileNetV2的的图像分类
08-31 1042
本教程介绍使用工具链对模型进行转换，生成MLIR以及MLIR量化成INT8模型，并在开发板上进行部署测试，完成图像分类任务，涉及以下步骤：搭载的是，该芯片支持和,目前不支持TFLite模型量化数据类型方面，目前支持以下对此3个步骤展开详细介绍。
博客
ResNet18云空间部署
08-24 313
转成mlir文件后, 会生成一个 ${model_name}_in_f32.npz 文件, 该文件是模型的输入文件。编译完成后, 会生成名为 ${model_name}_1684x_f32.bmodel 的文件。指定模型定义文件, 比如`.onnx`或`.tflite`或`.prototxt`文件。指定输入的shape, 例如[[1,3,640,640]];如果不指定, 则resize成模。指定输出的名称, 如果不指定, 则用模型的输出;图片每个通道的比值, 默认为1.0,1.0,1.0。
博客
Sophnet介绍及云空间申请使用
08-17 346
SOPHNET 平台是基于SOPHON智算产品打造的云边统一的AI服务平台，是人工智能算力中心的基础设施，平台通过开放AI训练和AI推理两大核心能力，赋能千行百业。
博客
论文讲解——TPU-MLIR: A Compiler For TPU Using MLIR
08-10 522
对经过优化的TOP MLIR进行多次前向推理，获取每个中间Tensor的数据，并计算它们的统计信息，通过KL方法得到初步的阈值，然后使用误差/余弦相似度方式再微调阈值，是的INT8的计算结果和FP32的结果尽量相似。通过深层次的依赖关系来进行更为合理的切割：越深依赖关系越复杂，不限于一个op层，不是在一层conv上做切割，而是计算一个conv输出被下一个conv利用的相关性，做整个group的相关性的切割，用计算来代替搬运。TPU Dialect是用于表示TPU芯片的Kernel库，与具体的设备有关。
博客
Swintransformer模型的优化
08-07 961
自从Transformer在NLP任务上取得突破性的进展之后，业内一直尝试着把Transformer用于CV领域。之前的若干尝试都是将Transformer用在了图像分类领域，但这些方法都面临两个非常严峻的挑战，一是多尺度问题，二是计算复杂度的问题。基于这两个挑战，swint的作者提出了一种层级式提取的Transformer，并通过移动窗口的方式来学习特征。在窗口内计算自注意力可以带来更高的效率；同时通过移动的操作，让相邻的窗口之间有了交互，变相达到了一种全局建模的能力，进而解决了上面两个问题。
博客
TPU-NNTC 编译部署LPRNet 车牌识别算法
08-03 415
LPRNet(License Plate Recognition via Deep Neural Networks)，是一种轻量级卷积神经网络，可实现无需进行字符分割的端到端车牌识别。LPRNet不需要字符预先分割，车牌识别的准确率高、算法实时性强、支持可变长字符车牌识别。对于字符差异比较大的各国不同车牌均能够端到端进行训练。LPRNet是第一个没有使用RNN的实时轻量级OCR算法，能够在各种设备上运行，包括嵌入式设备。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值