![](https://img-blog.csdnimg.cn/d377e6680f414103b8440a3d854bd01f.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
神经 芯片
文章平均质量分 90
各个厂家的AI推理芯片的使用
77wpa
不积跬步,无以至千里;不积小流,无以成江海
展开
-
NVIDIA TensorRT 简介及使用
NVIDIA® TensorRT™是高性能深度学习推理的SDK,包括深度学习推理优化器和运行时,可为推理应用程序提供低延迟和高吞吐量。原创 2023-10-24 19:55:01 · 738 阅读 · 0 评论 -
算力(计算机、芯片、TOPS、DMIPS、MACs等)相关缩写及定义
例如:假设有512MACC运算单元,运行频率为1GHz,INT8的数据结构和精度,算力为512 x 2(2理解为一个MACC为一次乘法和一次加法,为两次运算操作) x 1 GHz = 1000 Billion Operations/Second = 1 TOPS(Tera-Operations/second)。例如,某个模型需要256000个浮点参数定义,转化为bit 乘以32得8192000bit,再除8转化为Byte,1024KB,也就是1M,那么这个模型大小约为1M。原创 2023-07-05 17:18:11 · 5664 阅读 · 3 评论 -
神经网络(模型)量化介绍 - PTQ 和 QAT
量化主要是一种加速推理的技术,量化运算符仅支持前向传递。量化是指使用精度较低的数据进行计算和内存访问的技术,与浮点实现相比,通常是 int8。模型尺寸缩小 4 倍;内存带宽减少 2-4 倍;由于内存带宽的节省和使用 int8 算法的更快计算,推理速度提高了 2-4 倍(确切的加速取决于硬件、运行时和模型)。然而,量化并非没有额外代价。从根本上说,量化意味着引入近似值,由此产生的网络精度略低。这些技术试图最小化完整浮点精度和量化精度之间的差距。原创 2023-02-03 17:22:28 · 8379 阅读 · 14 评论 -
地平线 AI 芯片工具链 - 03 自定义模型转换
地平线 AI 芯片工具链 - 03 自定义模型转换1. 前提条件2. 文件目录3. 模型可视化4. 模型校验5. 模型编译1. 前提条件地平线 AI 芯片工具链 - 01 配置安装待转换模型(onnx 模型,其他类型可转为 onnx 模型)2. 文件目录在 docker 挂载目录下新建 08_hjw_demo 目录(具体位置可以自定义),并准备好相关脚本和模型3. 模型可视化样例模型 hjw_demo.onnxNetron 模型可视化工具4. 模型校验0原创 2020-09-07 17:33:33 · 1654 阅读 · 0 评论 -
地平线 AI 芯片工具链 - 02 快速开始
地平线 AI 芯片工具链 - 02 快速开始1. 前提条件2. 转换模型2.1 检验模型2.2 准备校准数据集1. 前提条件地平线 AI 芯片工具链 - 01 配置安装2. 转换模型此处以 docker 版本工具链 …/horizon_x3_tc_1.1.6/samples/04_detection/01_yolov2 为样例来说明2.1 检验模型执行 sh 01_check.sh 检验模型hjw@hjw-pc:~/x3_tc.1.1.6$ export version=1原创 2020-09-03 19:35:09 · 1745 阅读 · 2 评论 -
地平线 AI 芯片工具链 - 01 配置安装
地平线 AI 芯片工具链 - 配置安装1. 工具链运行环境2. 工具链下载获取3. 工具链配置安装3.1 介绍文档3.2 配置安装(CPU)3.2.1 方案一:docker 镜像3.2.2 方案二:安装软件包3.3 配置安装(GPU)1. 工具链运行环境Ubuntu 18.04 LTS、Docker version 19.03.12、docker-compose version 1.26.2说明:docker + docker-compose 配置安装2. 工具链下载获取说明:当前发布的版原创 2020-09-03 11:47:30 · 2002 阅读 · 0 评论