- 博客(27)
- 资源 (3)
- 收藏
- 关注
RSS订阅原创 书生·浦语大模型实战营Day05作业
以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。使用W4A16量化，调整KV Cache的占用比例为0.4，使用Python代码集成的方式运行internlm2-chat-1.8b模型。设置KV Cache最大占用比例为0.4，开启W4A16量化，以命令行方式与模型对话。使用 LMDeploy 运行视觉多模态大模型 llava gradio demo。
2024-04-21 09:10:22
451
1
原创 书生·浦语大模型实战营Day05 LMDeploy 量化部署
书生·浦语大模型实战营Day05 LMDeploy 量化部署LMDeploy 量化部署 LLM-VLM模型部署部署：将开发完毕的软件投入使用的过程服务器：CPU、GPU大模型部署面临的挑战计算量巨大、参数规模大内存开销巨大：K V Cache访存瓶颈、动态请求模型部署方法模型剪枝（Pruning）非结构化剪枝结构化剪枝知识蒸馏（Knoledge Distillation，KD）教师-学生量化（Quantization）量化感知训练（Q
2024-04-20 21:23:29
305
原创 书生·浦语大模型实战营Day04作业
记录复现过程并截图https://openxlab.org.cn/models/detail/sunxiaobei/personal_assistant。
2024-04-18 22:48:16
276
1
原创 Ubuntu下自动安装MindSpore1.7
https://www.mindspore.cn/install自动安装脚本执行完成后，需要重新打开终端窗口以使环境变量生效。
2022-06-19 23:07:16
384
1
原创 CANN体验之昇腾AI全栈架构
昇腾AI全栈架构昇腾AI 全栈可以分成四个大部分：应用使能层面，此层面通常包含用于部署模型的软硬件，例如API、SDK、部署平台，模型库等等。AI 框架层面，此层面包含用于构建模型的训练框架，例如昇思MindSpore、TensorFlow、Pytorch 等。AI框架层：端、边、云独立协同的统一训练和推理框架异构计算架构CANN，偏底层、偏通用的计算框架，用于针对上层AI 框架的调用进行加速，力求向上支持多种AI 框架
2022-05-31 11:45:21
885
原创 Mindinsight训练优化过程可视化
神经网络训练本质上是高维非凸函数的优化过程，一般可以通过梯度下降方法发现最小值点(如图1所示)。而一般的神经网络参数多达几万甚至几十万，较难直接在三维空间展示其优化地形。用户通过本功能，能够基于方向降维和绘制计算，将神经网络训练路径周围的优化空间展示出来。使用步骤具体使用步骤共分为两步，以LeNet为例，分类任务，数据集为MNIST，样例代码如下：训练数据收集：在训练过程中，利用SummaryCollector的形式收集多个模型前向网络权重，地形图绘制所需参数（如期望绘制区间，地形图分辨率等）
2022-05-31 11:42:40
239
原创 MindSpore学习之MindInsight源码安装(GPU)
Pip 安装前置环境：MindSpore所需环境（Python、Cuda等）Pip 安装最新版source activate py39_ms17pip install mindinsight源码编译及Docker安装参考：https://www.mindspore.cn/mindinsight/docs/zh-CN/master/mindinsight_install.html验证安装成功mindinsight start --port 8081 --summary-bas
2022-05-31 11:40:40
225
原创 MindSpore学习之算子开发
手把手安装与体验- 算子开发(GPU)TensorAdd 计算逻辑算子开发步骤：（1）算子原语注册算子原语通常包括：算子名：算子名用于唯一标识个算子。输入：算子输入Tensor。属性：一般描述算法参数输入数据合法性校验：对输入数据、属性进行合法性校验输出数据类型和维度推导：用于推导输出的数据类型和维度。自定义算子路径mindspore/python/mindspore/ops/operationsTensorAddV2继承于PrimitiveWithInfer。# min
2022-05-31 11:39:05
347
原创 MindSpore学习之算子开发
手把手安装与体验- 算子开发(GPU)TensorAdd 计算逻辑算子开发步骤：（1）算子原语注册算子原语通常包括：算子名：算子名用于唯一标识个算子。输入：算子输入Tensor。属性：一般描述算法参数输入数据合法性校验：对输入数据、属性进行合法性校验输出数据类型和维度推导：用于推导输出的数据类型和维度。自定义算子路径mindspore/python/mindspore/ops/operationsTensorAddV2继承于PrimitiveWithInfer。# min
2022-05-31 11:34:59
782
原创 MindSpore功能调试
网络调试网络调试的基本流程（1）网络流程调试成功，网络执行整体不报错，正确输出loss值，且正常完成参数更新。打印Checkpoint文件中的权重值，查看两个step的权重是否发生改变，并完成更新。（2）网络多轮迭代执行输出loss值，且loss值具有基本的收敛趋势。（3）网络精度调试，超参调优。用PyNative模式进行流程调试PyNative模式支持执行单算子、普通函数和网络，以及单独求梯度的操作。在PyNative模式下，可以方便地设置断点，获取网络执行的中间结果，也可以通过pdb
2022-05-31 11:30:00
454
原创 MindSpore1.7源码编译安装GPU环境
(1) 前置安装确认是安装 Ubuntu 是x86架构64位操作系统。Ubuntu 18.04 或者Ubuntu20安装GCC、Git、glibc、CMake、OpenSSL。如已安装，跳过。注意，GCC 9不兼容CUDA 10.1# 安装GCCsudo apt-get install gcc-7 git automake autoconf libtool libgmp-dev tcl patch libnuma-dev flex -y# 安装CMakewget -O - htt
2022-05-31 11:13:25
174
原创 MindSpore源码安装编译报错大合集(GPU)
编译报错大合集Required package gmp not found, please install gmp and try building# 安装GCCsudo apt-get install gcc-7 git automake autoconf libtool libgmp-dev tcl patch libnuma-dev flex -yThe C compiler identification is unknown. 未配置环境变量。GCC版本不对。可能gcc、g++的路径和
2022-05-31 11:10:47
269
原创 MindSpore学习之网络迁移调试与调优(以ResNet50为例)
MindSpore学习之网络迁移调试与调优ResNet50为例迁移流程迁移目标: 网络实现、数据集、收敛精度、训练性能复现指标：不仅要复现训练阶段，推理阶段也同样重要。细微差别，属于正常的波动范围。复现步骤：单步复现+整合网络。复现单 Step 的运行结果，即获取只执行第一个 Step 后网络的状态，然后多次迭代出整个网络的运行结果（数据预处理、权重初始化、正向计算、loss 计算、反向梯度计算和优化器更新之后的结果）准备工作安装MindSpore，Python等环境下载源
2022-05-31 11:06:36
2025
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人