海思SD3403(21AP10, 108DC2910 )4K60 的 ISP 图像处理能力，4Tops INT8算力

21AP10 是一颗面向市场推出的专业超高清智能网络录像机 SoC。该芯片最高支持四

路 sensor 输入，支持最高 4K60 的 ISP 图像处理能力，支持 3F WDR、多级降噪、六

轴防抖、硬件拼接等多种图像增强和处理算法，为用户提供了卓越的图像处理能力。

21AP10 内置四核 A55，提供高效且丰富和灵活的 CPU 资源，以满足客户计算和控制

需求。集成单核 MCU，以满足某些低延时要求较高场景。

21AP10 集成了高效的图像分析工具推理单元，最高 4Tops INT8，并支持业界主流的

图像分析工具框架。并内置双核 Vision DSP，以满足客户一些差异化的 CV 计算需

求。

21AP10 采用先进的 12nm 低功耗工艺和 0.65pitch 封装，同时支持

LPDDR4/LPDDR4x/DDR4 颗粒，满足客户应用的产品小型化设计和快速量产。

21AP10 配套提供的稳定、易用的 SDK 设计，能够支撑客户快速产品量产。

1.2 应用场景

1.2.1 21AP10 专业智能网络摄像机方案

21AP10 专业智能网络摄像机方案如 图 1-1 所示

1.3 架构

1.3.1 概述

21AP10 芯片逻辑框图如 图 1-2 所示。

1.3.2 处理器内核

●

四核 ARM Cortex A55@1.4GHz

− 32KB I-Cache ， 32KB D-Cache /512KB L3 cache

− 支持 Neon 加速，集成 FPU 处理单元

●

内置 32bit MCU@500MHz

32KB I-Cache ， 32KB D-Cache /64KB TCM

1.3.3 智能视频分析

●

图像分析工具 加速引擎，高达 4Tops INT8

− 支持 INT4/FP16

− 支持完整的 API 和工具链，易于客户开发​​​​​​​

●

双核 Vision Q6 DSP

32K I-Cache /32K D-Cache /32K IRAM/320K DRAM

●

内置智能计算加速引擎

●

内置双目深度加速单元

●

内置矩阵计算加速单元

1.3.4 视频编解码

●

H.264 BP/MP/HP

●

H.265 Main Profile

●

H.264/H.265 编解码最大分辨率为 8192 x 8192

●

H.264/H.265 编码支持 I/P 帧

●

H.264/H.265 多码流编码能力：

− 3840 x 2160@60fps + 1280x720@30fps

− 7680 x 4320@15fps

●

H.264/H.265/MPEG-4 多码流解码能力：

3840 x 2160@60fps + 1920x1080@60fps

●

支持最多 8 个区域的编码前 OSD 叠加

●

支持 CBR/VBR/AVBR/FIXQP/QPMAP 等多种码率控制模式

●

输出码率最大值 100Mbps

●

支持 8 个感兴趣区域（ ROI ）编码

●

支持 JPEG Baseline 编解码

●

JPEG 编解码最大分辨率 16384x16384

●

JPEG 最大性能

− 编码： 3840 x 2160@60fps(YUV420)

− 解码： 3840 x 2160@75fps(YUV420)

1.3.5 视频输入接口

●

支持 8-Lane image sensor 串行输入，支持 MIPI/LVDS/Sub-LVDS/HiSPi 多种接

口

●

支持 2x4-Lane 或 4x2-Lane 等多种组合，最高支持 4 路 sensor 串行输入

●

最大分辨率 8192 x 8192

●

支持 8/10/12/14 Bit RGB Bayer DC 时序视频输入，时钟频率最高 150MHz​​​​​​​

●

支持 BT.601 、 BT.656 、 BT.1120 视频输入接口

●

支持主流 CMOS 电平热成像传感器

1.3.6 ISP

●

ISP 支持分时复用处理多路 sensor 输入视频

●

支持 3A （ AE/AWB/AF ）功能， 3A 的控制用户可调节

●

支持去固定模式噪声（ FPN ）

●

支持坏点校正、镜头阴影校正；

●

最高支持三帧 WDR 及 Advanced Local Tone Mapping

●

支持多级 3D 去噪、图像边缘增强、去雾、动态对比度增强等处理功能

●

支持 3D-LUT 色彩调节

●

支持镜头畸变校正，支持鱼眼矫正

●

支持 6-DoF 数字防抖及 Rolling-Shutter 校正

●

支持图像 Mirror 、 Flip 、 90 度 /270 度旋转

●

提供 PC 端 ISP 调节工具

1.3.7 视频与图形处理

●

支持图形和图像 1/15.5 ～ 16x 缩放功能

●

支持多达 4 路视频全景拼接

− 输入 2 路 3840x2160 ，输出 4320x3840

− 输入 4 路 2688x1520 ，输出 6080x2688

●

支持视频层、图形层叠加

●

支持色彩空间转换

1.3.8 视频输出

●

支持 HDMI2.0 接口输出

●

支持 4-Lane Mipi DSI/CSI 接口输出，最高 2.5Gbps/lane

●

内置模拟标清 CVBS 输出

●

支持 8/16/24 bit RGB 、 BT.656 、 BT.1120 等数字接口

●

同时支持 2 个独立高清视频输出

− 支持任意两种接口非同源输出​​​​​​​

− 其中一路可支持 PIP(Piture In Piture)

●

最大输出能力 3840x2160@60fps + 1920x1080@60fps

1.3.9 音频接口与处理

●

内置 Audio codec ，支持 16bit 语音输入和输出

●

支持 I2S 接口

支持多声道时分复用传输模式（ TDM ）

●

支持 HDMI Audio 输出

●

通过软件实现多协议语音编解码

●

支持音频 3A （ AEC/ANR/ALC ）处理

●

支持 G.711/G.726/AAC/ 等音频编码格式

1.3.10 安全隔离与引擎

●

支持安全启动

●

支持基于 TrustZone 的 REE/TEE 硬件隔离方案

●

硬件实现 AES 对称加密算法

●

硬件实现 RSA2048/3072/4096 签名校验算法

●

硬件实现基于 HASH 的 SHA256/384/512 、 HMAC_SHA256/384/512 算法

●

硬件实现随机数发生器

●

集成 30Kbit OTP 存储空间供客户使用

1.3.11 网络接口

2 个千兆以太网接口

●

支持 RGMII 、 RMII 两种接口模式

●

支持 TSO 、 UFO 、 COE 等加速单元

●

支持 Jumbo Frame

1.3.12 外围接口

●

支持上电复位（ POR ）和外部输入复位

●

集成 4 通道 LSADC​​​​​​​

●

多个 UART 、 I2C 、 SPI 、 GPIO 接口

●

2 个 SDIO3.0 接口

− SDIO0 支持 SDXC 卡，最大容量 2TB

− SDIO1 支持对接 wifi 模组

●

2 个 USB3.0/USB2.0 接口

− USB0 仅 Host 接口

− USB1 Host/Device 可切换

●

2-Lane PCIe2.0 高速接口

− 支持 RC/EP 模式

− 可配置为 2-Lane PCIe2.0

− 可配置为 1-Lane PCIe2.0 + USB3.0

1.3.13 外部存储器接口

●

DDR4/LPDDR4/LPDDR4x 接口

− 支持 4 x 16bit DDR4

− 支持 2 x 32bit LPDDR4/LPDDR4x

− DDR4 最高速率 3200Mbps

− LPDDR4/LPDDR4x 最高速率 3733Mbps

− 最大容量 8GB

●

SPI Nor/SPI Nand Flash 接口

− 支持 1 、 2 、 4 线模式

− SPI Nor Flash 支持 3Byte 、 4Byte 地址模式

●

NAND Flash 接口

− 支持 SLC 、 MLC 异步接口器件

− 支持 2/4/8/16KB 页大小

− 支持 8/16/24/28/40/64bit ECC （以 1KB 为单位）

●

eMMC5.1 接口，最大容量 2TB

●

可选择从 eMMC 、 SPI Nor/SPI Nand Flash 、 NAND Flash 或 PCIe 从片启动

1.3.14 SDK

●

Arm CPU 支持 Linux SMP​​​​​​​

●

DSP/MCU 支持 LiteOS

1.3.15 芯片物理规格

●

功耗

(TBD)W 典型功耗 (4K60 + 4Tops)

●

工作电压

− 内核电压为 0.8V

− IO 电压为 1.8/3.3V

− DDR4/LPDDR4/LPDDR4x 接口电压分别为 1.2/1.1/0.6V

●

封装形式

− RoHS ， FC-BGA 23mm x 23mm 封装

− 管脚间距： 0.65mm

1.4 启动和升级模式

1.4.1 概述

芯片中内置启动 ROM （ BOOTROM ），芯片复位撤销后由 BOOTROM 开始执行启动

引导程序。

启动介质

芯片包含多种外设接口可用于启动介质接口：

●

SPI Nand/Nor Flash 存储接口。

●

并行 Nand Flash 存储接口。

●

eMMC 存储接口。

启动介质的选择由 SFC_EMMC_BOOT_MODE/BOOT_SEL1/BOOT_SEL0 信号决

定。

PCIe 从启动

芯片还支持 PCIe 从片启动，此时芯片作为从片，通过 PCIe 接口与主片连接，主片可

以通过 PCIe 接口将启动程序加载至从片并引导从片启动。​​​​​​​

PCIe 从片启动由 PCIE_SLV_BOOT_MODE 信号的值决定。

烧写（升级）

芯片通过 SDIO0/USB3 控制器 1 Device/UART0 来对启动介质进行烧写 ( 升级 ) 。 SD

卡、 USB 升级模式由 UPDATE_MODE_N 和 OTP 信号决定， UART 烧写由

FAST_BOOT_MODE 信号的值决定。

1.4.2 启动介质和上电锁存值关系

启动 / 升级介质由

PCIE_SLV_BOOT_MODE/FAST_BOOT_MOD/SFC_EMMC_BOOT_MODE/BOOT_

SEL1/BOOT_SEL0 和 UPDATE_MODE_N 信号来确定。

●

PCIE_SLV_BOOT_MODE 信号为 SENSOR1_VS 管脚的上电锁存值；

●

FAST_BOOT_MODE 信号为 RGMII0_TXD0 管脚的上电锁存值 ;

●

SFC_EMMC_BOOT_MODE 信号为 RGMII0_TXD1 管脚的上电锁存值 ;

●

BOOT_SEL1 信号为 RGMII0_TXD2 管脚的上电锁存值 ;

●

BOOT_SEL0 信号为 RGMII0_TXD3 管脚的上电锁存值 ;

●

UPDATE_MODE_N 信号为系统启动时 GPIO0_0 的状态，通常 GPIO0_0 可设计成按键，

按下时状态为 0 ，表示升级；未按下时状态为 1 ，表示非升级 ;

●

以上上电锁存值不受系统软复位影响；

●

SFC_EMMC_BOOT_MODE & BOOT_SEL1 & BOOT_SEL0 决定了启动或者烧

写的目标介质。

●

FAST_BOOT_MODE 用于选择是否进入串口烧写。

●

PCIE_SLV_BOOT_MODE 用于是否进入 PCIe 从片启动。

●

UPDATE_MODE_N 用于选择是否进入 SD/USB 升级。

启动模式和这些信号的关系如 表 1-1 所示：

1.4.3 启动模式

芯片支持如下表所示启动模式，其中 Secure_Boot_En 和 Quick_Boot 分别由寄存器的

值来决定 ( 源于 OTP 中的启动模式标志位 ) 。

表1-2 启动模式

2.1 封装与管脚分布

2.1.1 封装

21AP10 芯片采用 FCBGA 封装，封装尺寸为 23mmx23mm ，管脚间距为 0.65mm 。

管脚总数为 997 个。

详细封装请参见 图 2-1 ～ 图 2-5 ，封装尺寸参数请参见 表 2-1 。





表 2-10 各场景具体配置表
场景 1

(OS08A20 4k@30fps)*1->MIPI ：

开六轴防抖 /LDC, 开超感光，一路送 VPSS( 开 3DNR,8 个 osd, 4 个

mosaic),vpss 再送 VENC 进行编码

{Normal_P/H264:1x4k@60fps(12Mbps) +1x1080P@30fps (4Mbps) + 1

x4K@1fps JPEG};vpss 送 VO 进行 HDMI 1080P60 显示，叠加 GFBG

(1080p@10fps) ；

网络： 1x4K@60fps@12Mbps ；

智能： VGG16 循环处理图片；

DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv

数据中的 Y 分量。
场景 2

(OS08A20 4k@60fps)*1->MIPI ：

一路 vi 4k@30fps 开六轴防抖 /LDC/WDR, 送 VPSS( 开 3DNR,8 个 osd, 4

个 mosaic), 再送 VENC 进行编码

{Normal_P/H264:2x4k@30fps(12Mbps)+1x720P@30fps(2Mbps)+1x4K

@1fps JPEG}; 另一路 vi 4k@30fps 开六轴防抖 /LDC, 送 VPSS( 开

3DNR), 送 VO 进行 HDMI 1080P60 显示叠加 GFBG(1080p@10fps) ；

网络： 1x4K@30fps@12Mbps ；

智能： VGG16 循环处理图片；

DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv

数据中的 Y 分量。
场景 3

(IMX485 4k@90fps)*1->MIPI:

一路 vi 4k@30fps ，开六轴防抖 /LDC/WDR, 送 VPSS( 开 3DNR,8 个 osd,

4 个 mosaic), 再送 VENC 进行编码 {smart_P/H264:1x

4k@30fps(12Mbps) + 1x1080P@30fps(4Mbps)+1x720P@30fps

(2Mbps) + 1 x4K@1fps JPEG};VPSS 送一路 1080p30 送 VO 进行显

示；

音频： 1 路采集 16kHz mono + 1 路编解码 + 1 路输出 mono 重采样到

32kHz +1 路 ai 开 AGC/ANR ；

网络： 1x4K@30fps@12Mbps ；

智能： VGG16 循环处理图片；

DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv

数据中的 Y 分量。
场景 4

(0S08A20 4k@60fps)*1 ->MIPI:

一路 vi 4k@30fps 开六轴防抖 /LDC/WDR, 送 VPSS( 开 3DNR,8 个 osd,

4 个 mosaic),

再送 VENC 进行编码 {smart_P/H264:1x 4k@30fps(12Mbps) +

1x1080P@30fps (4Mbps)+ 1x720P@30fps (2Mbps) + 1 x4K@1fps

JPEG};VPSS 送一路 1080p30 送 VO 进行显示；

音频： 1 路采集 16kHz mono + 1 路编解码 + 1 路输出 mono 重采样到

32kHz +1 路 ai 开 AGC/ANR;

网络： 1x4K@30fps@12Mbps ；

智能： VGG16 循环处理图片；

DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv

数据中的 Y 分量。
场景 5

(0S08A20 4k@30fps)*2 ->MIPI:

VI 采集两路 sensor 4k@30fps 分别作为枪机和球机的通路输入，两路都

开启 2to1 WDR ，其中枪机通路开 LDC ，球机通路路开 6 轴防抖；

枪机通路送 VPSS （开 3DNR ），然后送 venc 进行编码（ 4K@30fps

h264 smartp + 1080P@30fps h264 smartp + 4K@1fps jpeg ）；

球机通路送 VPSS （开 3DNR ），然后送 venc 进行编码（ 4K@30fps

h264 smartp + 4K@1fps jpeg ）；

音频： 1 路采集 16kHz mono + 1 路编解码 + 1 路输出 mono 重采样到

32kHz +1 路 ai 开 AGC/ANR ；

网络： 2x 4K30fps@12Mbps ；

智能： VGG16 循环处理图片；

DSP: DSP0+DSP1 开启，采用 bilateral filter 算法处理 1920x1080 yuv

数据中的 Y 分量。​​​​​​​

15.1 概述

安全子系统支持以下安全特性：

●

支持硬件产生真随机数，产生的真随机数符合 FIPS140-1 的随机测试标准。

●

支持 OTP （ One Time Programmable ），用户可用空间达 30Kbit 。

●

支持硬件对称加解密算法和 HASH 算法：

− 对称加解密算法

支持 AES128 、 AES192 、 AES256 ， AES 算法的实现符合 FIPS 197 标准。

AES 的工作模式符合 NIST special800-38a 标准。

− HASH 算法

支持 SHA256 、 SHA384 、 SHA512 、 HMAC-SHA256 、 HMAC-SHA384 、

HMAC-SHA512

●

支持硬件非对称加解密算法，支持 RSA 2048/3072/4096 ，符合 PKCS#1

V1.5/2.1 标准；

●

支持 JTAG 保护；

●

支持 KeyLadder ，用于密钥加解密管理，增加安全强度。

●

支持 ARM TrustZone 。

●

支持安全内存隔离。

●

支持安全启动。支持 bootloader 的签名校验和加解密。