【1. 前言】

1.1. 概述

本文作为地平线X3M芯片方案的用户手册，目标是满足用户对于环境搭建、方案评测、功能开发等多方面的需求，会从开发板使用、Demo使用、BSP开发、多媒体开发、AI工具链开发等多个方面进行讲解。

1.2. 交付包总体说明

地平线X3M芯片解决方案交付包，主要包括BSP源码、配套文档、硬件参考设计、sample示例、AI算法工具链、配套PC端工具软件等几部分。发布包各模块说明如下：

组件名	用途说明
board_support_package/platform_source_code.tar.gz	系统BSP源码
board_support_package/firmwares	预编译的X3SDB开发板刷机镜像
documentation	开发手册、接口描述文档
hardware_reference_design	硬件参考设计，包含原理图、pcb及bom
ai_toolchain_package	AI 工具链开发包
sample	图像、算法示例程序
software_tools	配套PC端工具软件

1.3. X3M 芯片规格

旭日 3.0M（X3M）是 Horizon Robotics 支持的高度集成的高性能低功耗人工智能片上系统（SoC）。X3M 基于伯努利架构双核 BPU，支持实时像素级视频分割，结构化视频分析和视觉注意力感知。自主自研 BPU 可以对视频进行目标检测、图像分类、目标跟踪、语义分割和实例分割等人工智能推理计算。

先进的感知功能使 X3M 持续引领人工智能物联网（AIoT）行业水平。通过对环境的精确检测、识别和理解（包括人、物、车辆、行为），实现了人脸检测/识别以及汽车牌照识别等等。除了视频/图像人工智能检测、分割和识别外，X3M BPU 还可以支持智能语音算法，例如关键词检索、语音识别和文字转语音等，以使 AIoT 设备的智能功能更加完善。

1.3.1. 关键特性

CPU

• 四核Arm® Cortex® A53，32 KB/32 KB L1 I/D和512 KB L2缓存。
• 典型工作频率：1.2GHz @标称VDD_CPU工作电压。

BPU

• 由BPU0和BPU1组成的双核伯努利架构BPU，提供高达5 TOPS的等效算力。
• 典型工作频率：1.0GHz @标称VDD_CNN0/1工作电压。
• 支持主流神经网络。

外部存储器

• DDR
  • 支持x32 DDR4/LPDDR4/LPDDR4X片外DRAM。
  • 支持最大存储空间4 GB。
• eMMC5.0控制器
  • 最高支持HS200模式
  • 最高支持8bit数据位宽

ISP

• 8M@60fps
• 3DNR/LDC/GDC
• 3A（AE/AWB/AF），支持第三方 3A 算法

视频输入接口

• 支持MIPI CSI视频输入：
  • 3 MIPI CSI Rx端口：CSI-Rx1/3（1个时钟通道+4个数据通道），CSI-Rx0（1个时钟通道+ 2个数据通道）和 CSI-Rx2（1个时钟通道+ 2个数据通道）。
  • 每个数据通道高达2.0 Gbps，四个数据通道的峰值传输速率为8 Gbps。
  • 视频输入高达4096 x 2160p @ 30fps。
  • 支持RAW 8-/10-/12-/14-/16位格式和8-/10位YUV格式。
• MIPI CSI RX的虚拟通道以支持最多8路sensor视频输入：
  • CSI-RX1/3：1个时钟通道+ 4个数据通道，支持多达4个虚拟通道。
  • CSI-RX0：1个时钟通道+ 2个数据通道，支持多达2个虚拟通道。
  • CSI-RX2：1个时钟通道+ 2个数据通道，支持多达2个虚拟通道。

视频输出接口

• 支持BT1120/BT656视频输出
• 支持MIPI CSI TX视频输出
• 支持MIPI DSI TX视频输出
• 支持个用户界面（UI）层alpha混合

视频/图像处理单位

• 图像处理单元（IPU）：
  • 支持裁剪和缩放
  • 支持多路分解6个虚拟通道
  • 支持图像 Mirror、Flip 功能
  • 支持编码前处理 OSD 叠加
• 金字塔（PYM）：
  • 输入图像尺寸最大为8Mp。
  • 生成各种尺寸的多层金字塔图像。
  • 可配置图层，感兴趣区域（ROI）和缩放因子。

视频编解码器

• 支持H.265（HEVC）编码和解码：
  • Main profile @ L5.1。
  • 支持I/P/B帧。
• 支持H.264编码和解码：
  • Baseline/Main/High profiles @ L5.1。
  • H.264支持SVC-T编码。
• H265/H264编解码性能：
  • 3840 x 2160p @ 60fps 编码/解码 + 1280 x 720p @ 30fps 编码/解码。
  • 4096 x 2160p @ 60fps 编码/解码。
  • 3840 x 2160p @ 30fps 编码/解码 + 1920 x 1080p @ 30fps 编码/解码 + 1280 x 720p @ 30fps 编码/解码。
  • 3840 x 2160p @ 30fps 编码/解码 + 3840 x 2160p @ 30fps 编码/解码。
• 支持JPEG编码和解码：
  • Baseline profile。
  • 支持CBR、VBR、AVBR、FixQp和QpMap比特率控制模式。

外围接口

• 1个USB 3.0 DRD(Dual-Role Device)
• 1个1G Ethernet MAC
• 3个SDIO/SD3.0
• 3个SPI
• 6个I2C
• 4个UART
• 2个I2S (TDM支持8个通道)
• 9个PWM
• RTC/Timer
• Watchdog

芯片物理规格

• 台积电16纳米FinFET紧凑型技术（FFC）工艺。
• FCBGA483封装，管脚间距为0.65 mm，封装尺寸为15 mm x 15 mm。
• 工作温度：-25〜85℃。

1.4. 操作系统版本

X3M芯片方案SDK提供了 Linux 和 Ubuntu 20.04 两个版本，以满足不同用户群体对操作系统的需求。两个版本的Linux内核和GCC工具链版本保持一致，其中内核版本为4.14，GCC工具链版本为9.3.0。