Hi3516DV500 高清智慧视觉 SoC

1.1 概述

Hi3516DV500 是一颗面向视觉行业推出的高清智能 Soc 。该芯片最高支持 2 路 sensor

输入，支持最高 5M@30fps 的 ISP 图像处理能力，支持 2F WDR 、多级降噪、六轴防

抖、多光谱融合等多种传统图像增强和处理算法，支持通过 AI 算法对输入图像进行实

时降躁等处理，为用户提供了卓越的图像处理能力。支持热红外、结构光和 ToF

sensor 的接入和处理。

Hi3516DV500 内置双核 A55 ，提供高效、丰富和灵活的 CPU 资源，以满足客户计算

和控制需求。

Hi3516DV500 集成了高效的神经网络推理引擎，最高 2Tops NN 算力，支持业界主流

的神经网络框架。

Hi3516DV500 提供稳定、易用的 SDK 软件开发包，支撑客户产品快速量产。

1.2 应用场景

Hi3516DV500 高清智慧视觉 SoC 方案如 图 1-1 所示。

1.3 架构

1.3.1 逻辑框图

Hi3516DV500 芯片逻辑框图如 图 1-2 所示。

1.3.2 处理器内核

⚫ 双核 ARM Cortex A55@850MHz

⚫

32KB I-Cache ， 32KB D-Cache ， 256KB L3 cache

⚫ 支持 NEON 加速，集成 FPU 处理单元

⚫ 支持 TrustZone

1.3.3 系统级加速模块

⚫ 集成硬化的标准 CRC32/CRC16/CRC8 多项式运算单元

⚫ 集成硬化的高速直接数据搬移模块 (DMA)

1.3.4 智能视频分析

⚫ 神经网络

支持完整的 API 和工具链，易于客户开发

⚫ 升级 IVE 算子，支持特征点检测、周界、光流及多种计算机形态学算子​​​​​​​

⚫ 升级 DPU 算法实现双目深度图加速单元，最大分辨率 2048 x 2048 ，最大视差

224 ，处理性能 720p@30fps

1.3.5 视频编解码

⚫ 支持 H.264 BP/MP/HP Level 5.1

⚫ 支持 H.265 Main Profile Level 5.1

⚫

H.264/H.265 编解码最大分辨率为 6144x 6144

⚫ 支持 I/P 帧

⚫

H.264/H.265 多码流编解码典型性能如下：

− 2592x1944@30fps( 编码 )+1920x1080@30fps( 编码 )+720x480@30fps( 编码 )

− 2592x1944@30fps( 编码 )+720x480@30fps( 编码 )+1920x1080@30fps( 解码 )

− 2592x1944@30fps( 解码 )

⚫ 支持 8 个区域的编码前 OSD 叠加

⚫ 支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式

⚫ 输出码率最大值 80Mbps

⚫ 支持 8 个感兴趣区域（ ROI ）编码

⚫ 支持视频前端叠加 mosaic 编码

⚫ 支持数字水印

⚫ 支持 PVC 感知编码降低码流

⚫ 支持 JPEG Baseline 编解码

⚫

JPEG 编解码最大分辨率 16384 x 16384

⚫

JPEG 最大性能

− 编码： 2592x1944@60fps(YUV420)

− 解码： 2592x1944@30fps(YUV420)

1.3.6 数字图像处理（ ISP ）

⚫ 支持多路 sensor 同时处理

⚫ 支持 3A （ AE/AWB/AF ）功能， 3A 参数用户可调节

⚫ 支持去固定模式噪声（ FPN ）

⚫ 支持坏点校正和镜头阴影校正

⚫ 支持两帧 WDR 及 Advanced Local Tone Mapping，支持强光抑制和背光补偿

⚫ 支持多级 3D 去噪

⚫ 支持图像边缘增强

⚫ 支持去雾

⚫ 支持动态对比度增强

⚫ 支持 3D-LUT 色彩调节

⚫ 支持新一代镜头畸变校正

⚫ 支持鱼眼等任意形状几何矫正

⚫ 支持 6-DoF 数字防抖

⚫ 支持陀螺仪防抖和 Rolling-Shutter 校正

⚫ 支持图像 Mirror 、 Flip 、 90 度 /270 度旋转

⚫ 支持使用神经网络对图像进行实时 DRC 、 BNR 、 3DNR 或 DM 处理

⚫ 支持黑白与彩色两路图像双光融合

⚫ 提供 PC 端 ISP 调节工具

1.3.7 视频与图形处理

⚫ 支持图形和图像 1/15.5 ～ 16x 缩放功能

⚫ 支持水平方向全景拼接

输入 2 路 1920x1080@30fps ，输出 3840x1080@30fps

⚫ 支持视频层、图形层叠加

⚫ 支持色彩空间转换

1.3.8 视频输入接口

⚫ 支持 4-Lane image sensor 串行输入，支持 MIPI/LVDS/Sub-LVDS/HiSPi 多种接

口

⚫ 支持 4-Lane 或 2x2-Lane 等多种组合，最高支持 2 路 sensor 输入

⚫ 支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入，时钟频率最高 148.5MHz

⚫ 支持 BT.601 、 BT.656 、 BT.1120 视频输入接口

⚫ 支持通过 MIPI 虚拟通道输入 1~4 路 YUV

⚫ 支持主流 CMOS 电平热成像传感器接入

⚫ 支持结构光图像模组

⚫ 支持 cw ToF 图像传感器

1.3.9 视频输出接口

⚫ 支持一路 BT.1120 或 BT.656 接口输出，其中 BT.1120 最高性能

1920x1080@60fps

⚫ 支持 6/8bit 串行或 16/18/24bit RGB 并行输出，最高频率 74.25MHz

⚫ 支持 4-Lane Mipi DSI/CSI 接口输出，最高 1.8Gbps/lane ，性能

1920x1080@60fps

⚫ 支持 Gamma 校正和水平方向 sharpen

1.3.10 音频接口与处理

⚫ 内置 Audio codec ，支持 16bit 双路差分语音输入和双路单端语音输出

⚫ 支持 1 路 I2S 接口，兼容多声道时分复用传输模式（ TDM ）

⚫ 支持 8 路数字 MIC 阵列输入

⚫ 支持多协议语音编解码

⚫ 支持音频 3A （ AEC/ANR/ALC ）处理

1.3.11 安全隔离与引擎

⚫ 支持安全启动

⚫ 支持基于 TrustZone 的 REE/TEE 硬件隔离方案

⚫ 支持神经网络模型与数据保护

⚫ 硬件实现 AES128/256 对称加密算法

⚫ 硬件实现 RSA3072/4096 签名校验算法

⚫ 硬件实现 ECC256/384/512 椭圆曲线算法

⚫ 硬件实现 SHA256/384/512 、 HMAC_SHA256/384/512 算法

⚫ 硬件实现 SM2/3/4 国密算法

⚫ 硬件实现真随机数发生器

⚫ 提供 28Kbit OTP 存储空间供客户使用

1.3.12 网络接口

⚫

1 个千兆以太网接口

− 支持 RGMII 、 RMII 两种接口模式

− 支持 TSO 、 UFO 、 COE 等加速单元

1.3.13 外围接口

⚫

2 个 SDIO3.0 接口

− SDIO0 支持 SDXC 卡，最大容量 2TB

− SDIO1 支持对接 wifi 模组

⚫

1 个 USB2.0 接口

− USB Host/Device 可切换

⚫ 支持上电复位（ POR ）和外部输入复位

⚫ 集成独立供电 RTC

⚫ 集成 4 通道 LSADC

⚫ 集成 RGB 小屏专用三线控制接口

⚫ 多个 UART 、 I 2 C 、 SPI 、 PWM 、 GPIO 接口

1.3.14 存储器接口

⚫

DDR4/LPDDR4/LPDDR4x 接口

− 支持 2 x 16bit DDR4

− 支持 1 x 32bit LPDDR4/LPDDR4x

− DDR4 最高速率 2400Mbps

− LPDDR4/LPDDR4x 最高速率 2400Mbps

− 最大容量 4GB

⚫

SPI Nor/SPI Nand Flash 接口

− 支持 1 、 2 、 4 线模式

− SPI Nor Flash 支持 3Byte 、 4Byte 地址模式

⚫

eMMC5.1 接口，最大容量 2TB

⚫ 可选择从 eMMC 、 SPI Nor/SPI Nand Flash 启动

1.3.15 SDK

支持 Linux5.10 SDK 包

1.3.16 芯片物理规格

⚫ 功耗

− 2W 典型功耗 ( 编码 5M30 + 2Tops)

⚫ 工作电压

− 内核电压为 0.9V

− IO 电压为 1.8/3.3V

− DDR4/LPDDR4/LPDDR4x 接口电压分别为 1.2/1.1/0.6V

⚫ 封装形式

− RoHS ， FCCSP 15mm x 15mm 封装

− 管脚间距： 0.65mm

1.4 启动和升级模式

1.4.1 概述

芯片中内置启动 ROM （ BOOTROM ），芯片复位撤销后由 BOOTROM 开始执行启动引

导程序。

启动介质

芯片包含多种外设接口可用于启动介质接口：

⚫

SPI Nand/Nor Flash 存储接口。

⚫

eMMC 存储接口。

启动介质的选择由 SFC_EMMC_BOOT_MODE/BOOT_SEL1/BOOT_SEL0 信号决定。

烧写（升级）

芯片可以通过 SD 卡 /USB/ 串口来对启动介质进行烧写 ( 升级 ) 。 SD 卡、 USB 升级模式

由 UPDATE_MODE 信号决定， UART 烧写由 FAST_BOOT_MODE 信号的值决定。

当采用 SD 卡升级时，只能通过 SDIO0 接口上的 SD 卡升级。

1.4.2 启动介质和上电锁存值关系

启动 / 升级介质由

FAST_BOOT_MODE/SFC_EMMC_BOOT_MODE/BOOT_SEL1/BOOT_SEL0 和

UPDATE_MODE_N 信号来确定。

⚫ FAST_BOOT_MODE 信号为 SENSOR1_CLK 管脚的上电锁存值 ;

⚫ SFC_EMMC_BOOT_MODE 信号为 RGMII_TXD1 管脚的上电锁存值 ;

⚫ BOOT_SEL1 信号为 RGMII_TXD0 管脚的上电锁存值；

⚫ BOOT_SEL0 信号为 SENSOR1_VS 管脚的上电锁存值；

⚫ UPDATE_MODE_N 信号为系统启动时 GPIO0_0 的状态，通常 GPIO0_0 可设计成按键，按

下时状态为 0 ，表示升级模式；未按下时状态为 1 ，表示非升级模式。

⚫ BOOT_PARA_SEL_0 、 BOOT_PARA_SEL_1 、 BOOT_PARA_SEL_2 、 BOOT_PARA_SEL_3 信号

分别为 SENSOR1_HS 、 EPHY_CLK 、 MDCK 、 RGMII_TXEN 管脚的上电锁存值。

⚫ 以上上电锁存值不受系统软复位影响。

⚫

SFC_EMMC_BOOT_MODE & BOOT_SEL1 & BOOT_SEL0 决定了启动或者烧写的

目标介质。

⚫

FAST_BOOT_MODE 用于选择是否进入串口烧写。

通过系统控制寄存器 SYSSTAT[4:2] 和 SYSSTAT[11] 可以获取当前的

FAST_BOOT_MODE 、 SFC_EMMC_BOOT_MODE 、 BOOT_SEL1 、 BOOT_SEL0 的状

态。通过系统控制寄存器 SYSSTAT[29:27] 可以获取当前的 BOOT_PARA_SEL_0 、

BOOT_PARA_SEL_1 、 BOOT_PARA_SEL_2 的状态，从而选择某个 DDR 参数表格启

动。通过系统控制寄存器 SYSSTAT[30] 可以获取当前的 BOOT_PARA_SEL_3 的状态，

从而确认 SFC 器件是 3.3V 还是 1.8V 。

请参考“系统”章节的 SYSSTAT 寄存器中的描述。

相关信号名请参考《 Hi3516DV500_PINOUT_CN 》。

启动介质和这些信号的关系如 表 1-1 所示。

1.4.3 启动模式

芯片支持如 表 1-2 所示启动模式，其中 soc_tee_enable 由寄存器

SOC_TEE_ENABLE[7:0] （绝对地址： 0x0_101E_0010 ）值来决定 ( 源于 OTP 中的启动

模式标志位 ) 。

寄存器 SOC_TEE_ENABLE 详见《xxxx 安全启动使用指南》。

14.1 概述

安全子系统支持以下安全特性：

⚫ 支持硬件产生真随机数，产生的真随机数符合 SP800-22 的随机测试标准。

⚫ 支持 OTP （ One Time Programmable ），用户可用空间达 28Kbit 。

⚫ 支持硬件对称加解密算法和 HASH 算法：

− 对称加解密算法

■ 支持 AES128 、 AES256 ， AES 算法的实现符合 FIPS 197 标准。 AES 的工

作模式符合 NIST special800-38a 标准；

■ 支持国密 SM4 算法。

− HASH 算法

■ 支持 SHA256 、 SHA384 、 SHA512 、 HMAC-SHA256 、 HMAC

SHA384 、 HMAC-SHA512 ；

■ 支持国密 SM3 算法。

⚫ 支持硬件非对称加解密算法：

− 支持 RSA 3072/4096 ，符合 PKCS#1 V1.5/2.1 标准；

− 支持国密 SM2 算法；

− 支持 ECC256/384/512 椭圆曲线算法。

⚫ 支持 JTAG 保护。

⚫ 支持 KeyLadder ，用于密钥加解密管理，增加安全强度。

⚫ 支持 ARM TrustZone。

⚫ 支持安全内存隔离。

⚫ 支持安全启动。支持 bootloader 的签名校验和加解密。