weixin_55796564的博客

然后便是在一个循环中不断地获取摄像头输出的图像，首先将图像进行人脸检测，检测图像中存在的人脸，接着对人脸图像进行人脸特征提取，然后将提取到的人脸特征与先前保存的人脸特征进行对比，若对比得到高于指定的阈值，则表示能够识别出人脸，通过在获取到人脸特征后可以根据需要进行人脸特征的录入，最后将以上所有的分析检测结果在图像上进行绘制，然后在LCD上显示图像。在上一章节中，介绍了利用maix.KPU模块实现了人脸68关键点检测，本章将继续介绍利用maix.KPU模块实现的人脸识别。45.2.1 例程功能。

从本章开始，将通过几个实例介绍Kendryte K210上的KPU，以及CanMV下KPU的使用方法，本章将先介绍YOLO2网络的人脸检测应用在CanMV上的实现。通过本章的学习，读者将学习到YOLO2网络的人脸检测应用在CanMV上的实现。本章分为如下几个小节：39.1 maix.KPU模块介绍39.2 硬件设计39.3 程序设计39.4 运行验证39.1 maix.KPU模块介绍。

本章将对CanMV进行简单介绍本章分为如下几个小节：3.1 初识CanMV3.2 CanMV的应用开发方式3.1 初识CanMVCanMV是嘉楠科技针对AIOT编程的独立开源项目，其源代码在GitHub上开源（https://github.com/kendryte/canmv.git），可在例如Kendryte K210等强大的嵌入式AI SoC上运行，CanMV提供了基于MicroPython语法的应用开发方式，但同时也支持使用基于C语言和FreeRTOS的应用开发方式。

正点原子i.MX 93开发板上市！工业轻量AI视觉开发，资料丰富！正点原子i.MX93开发板采用NXP i.MX9352处理器，适配Linux 6内核、Qt6界面，硬件接口支持双路RS485 总线接口和双路FDCAN总线接口，带数字隔离、电源隔离，多重防护；板载2 路千兆以太网接口；支持MIPI CSI接口，可使用正点原子OV5645摄像头；支持MIPI DSI接口，可使用正点原子5.5寸720x1280\1080x1920电容触摸屏、10.1 寸800x1280 MIPI 电容触摸屏！

1）实验平台：正点原子ATK-DLRK3568开发板2）平台购买地址：https://detail.tmall.com/item.htm?id=7318662644283）全套实验源码+手册+视频下载地址： http://www.openedv.com/docs/boards/xiaoxitongban我们在前面学习I2C驱动的时候，针对I2C设备寄存器的操作都是通过相关的API函数进行操作的。这样Linux内核中就会充斥着大量的重复、冗余代码，但是这些本质上都是对寄存器的操作，所以为了方便内核开发人员

一、劲爆新品73折！T80/T80P智能电烙铁，2秒化锡！全铝机身，精准控温，18~100W功率可调！三、劲爆新品68折！STM32G474电机开发板兼容有刷、无刷、步进电机等，支持多种控制算法！二、劲爆新品75折！全国产FPGA开发板PGL25G/50G，基于紫光同创，资料全开源！【新品超值优惠】今晚8点双11大促，劲爆新品低至68折起！

1）实验平台：正点原子stm32f103战舰开发板V42）平台购买地址：https://detail.tmall.com/item.htm?id=6092947574203）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.html#本章将介绍使用APM32F407的高级定时器输出多个频率、占空比相同但相位不同的PWM。通过本章的学习，读者将学习到高级定时器输出比较的匹配时输出翻转模式的使用。本章分为如下几个小节：22.1 硬件设计

1)TCP 协议简介TCP（Transmission Control Protocol，传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议。在开放系统互连OSI参考模型中，它完成第四层传输层所指定的功能，UDP（User Datagram Protocol，用户数据报协议）是同一层内另一个重要的传输协议。在因特网协议族（Internet protocol suite）中，TCP层是位于IP层之上，应用层之下的中间层。

1)TCP/IP协议简介TCP/IP协议中文名为传输控制协议/因特网互联协议，又名网络通讯协议，是Internet最基本的协议、Internet国际互联网络的基础，由网络层的IP协议和传输层的TCP协议组成。TCP/IP定义了电子设备如何连入因特网，以及数据如何在它们之间传输的标准。协议采用了4层的层级结构，每一层都呼叫它的下一层所提供的协议来完成自己的需求。通俗而言：TCP负责发现传输的问题，一有问题就发出信号，要求重新传输，直到所有数据安全正确地传输到目的地。

摄像头在日常生活中非常常见，一般分为单目摄像头、双目摄像头和多目摄像头。单目摄像头凭借着成本低和易用的特点，目前使用最为广泛；双目摄像头主要应用于单目摄像头无法胜任的场合，如三维坐标定位等；当然针对一些特殊的应用，目前市场上也出现了多目摄像头，以应对更加复杂的场景。我们在前面的例程中实现了单目OV5640摄像头LCD屏的实时显示，本章我们在此基础上实现双目OV5640摄像头的实时显示，即两路摄像头的图像视频显示在LCD屏上，并叠加两个标记层的显示。

目前最常用的触摸屏有两种：电阻式触摸屏与电容式触摸屏。下面，我们来分别介绍。（一）电阻式触摸屏：在Iphone面世之前，几乎清一色的都是使用电阻式触摸屏，电阻式触摸屏利用压力感应进行触点检测控制，需要直接应力接触，通过检测电阻来定位触摸位置。正点原子2.8/3.5寸LCD模块自带的触摸屏都属于电阻式触摸屏，下面简单介绍下电阻式触摸屏的原理。

AXI4接口总共有三种类型，它们分别是AXI4(AXI4-Full)、AXI4-Lite和AXI4-Stream，不同的接口类型适用于不同的应用场景，下面对这三个接口做简要说明。AXI4-Full：最高性能的接口，适合存储器映射的通信，支持每个地址阶段最高256个数据传输周期的批量传输，适合于更需要持久、高速性能的IP。AXI4-Lite：AXI4-Full接口的轻量级版本，用于存储器映射的单次数据通信会话。这个版本的好处是简化了的接口占用较少的逻辑部分面积。

OV5640是一款1/4英寸单芯片图像传感器，其感光阵列达到25921944（即500W像素），能实现最快15fps QSXVGA（25921944）或者90fps VGA（640*480）分辨率的图像采集。传感器采用OmniVision推出的OmniBSI（背面照度）技术，使传感器达到更高的性能，如高灵敏度、低串扰和低噪声。传感器内部集成了图像处理的功能，包括自动曝光控制（AEC）、自动白平衡（AWB）等。

在“SD卡读BMP图片LCD显示实验”的简介部分，我们详细介绍了BMP图片的数据格式；另外在《MPSOC FPGA开发指南》中的“HDMI彩条显示实验”一章，我们介绍了HDMI接口。如果大家对这两部分的内容不熟悉的话，可以参考相应的章节，此处就不再赘述了。25.2实验任务本章的实验任务是使用MPSOC开发板读取SD卡中存放的BMP格式图片，分辨率为1920*1080，并将其显示在HDMI显示器上。

我们常用的图片格式有很多，一般最常用的有四种：JPEG（或JPG）、BMP、PNG和GIF。其中JPEG（或JPG）、BMP和PNG是静态图片，而GIF则是动态图片。BMP全称是Bitmap（位图）的缩写，其特点是几乎不进行压缩，由此导致了它与生俱来的缺点，即占用磁盘空间较大；而其它三种图片格式均进行了不同程度的压缩，以节省磁盘空间。在本次实验中，我们选择使用不压缩的BMP图片格式，解析该格式的图片最为简单。

AXI VDMA（AXI Video Direct Memory Access，以下简称VDMA），是Xilinx提供的软核IP。其功能和AXI DMA（以下简称DMA）有些类似，都可以为存储器或者AXI4-Stream类目标外设之间提供高带宽直接存储器存取。和DMA相比，VDMA增加了帧缓存的缓冲机制和同步锁相（GenLock）等功能，是为了针对视频图像应用而做的升级版的DMA。VDMA集成了视频专用功能，如帧同步和2D DMA传输等，非常适合基于MPSOC架构上的图像和视频处理，缩短了开发周期。

在前面的实验中，我们通过调用各种功能的IP核，可以快速地搭建Block Design。除了调用Vivado IP库中的IP核，我们还可以创建或封装自己的IP核。在本章我们将学习如何把HDL实现的功能模块封装成IP核，以及如何定义新的接口类型。本章包括以下几个部分：2222.1简介22.2实验任务22.3硬件设计22.4程序设计22.5下载验证Vivado开发工具集成了大量Xilinx官方IP核以及第三方厂商提供的IP核，如图 22.1.1所示。

DMA是所有现代计算机的重要特色，它允许不同速度的硬件设备进行沟通，而不需要依于中央处理器的大量中断负载。否则，中央处理器需要从来源把每一片段的数据复制到寄存器，然后把它们再次写回到新的地方。在这个时间里，中央处理器就无法执行其它的任务。DMA是用硬件实现存储器与存储器之间或存储器与I/O设备之间直接进行高速数据传输。使用DMA时，CPU向DMA控制器发出一个存储传输请求，这样当DMA控制器在传输的时候，CPU执行其它操作，传输操作完成时DMA以中断的方式通知CPU。

MPSOC将高性能ARM Cotex-A系列处理器与高性能FPGA在单芯片内紧密结合，为设计带来了如减小体积和功耗、降低设计风险，增加设计灵活性等诸多优点。在将不同工艺特征的处理器与FPGA融合在一个芯片上之后，片内处理器与FPGA之间的互联通路就成了MPSOC芯片设计的重中之重。如果Cotex-A53与FPGA之间的数据交互成为瓶颈，那么处理器与FPGA结合的性能优势就不能发挥出来。

什么是FreeRtos？Free即免费的，RTOS全称是Real Time Operating System，中文就是实时操作系统。注意，RTOS不是指某一个确定的系统，而是指一类系统，比如uC/OS，FreeRTOS，RTX，RT-Thread等这些都是RTOS类操作系统。操作系统允许多个任务同时运行，这个叫做多任务。实际上，一个处理器核心在某一时刻只能运行一个任务。操作系统中任务调度器的责任就是决定在某一时刻究竟运行哪个任务。

BRAM（Block RAM）是PL部分的存储器阵列，PS和PL通过对BRAM进行读写操作，来实现数据的交互。在PL中，通过输出时钟、地址、读写控制等信号来对BRAM进行读写操作（关于BRAM的操作时序，请参考“RAM IP核实验”）；而在PS中，处理器并不需要直接驱动BRAM的端口，而是通过AXI BRAM控制器来对BRAM进行读写操作。AXI BRAM控制器是集成在Vivado设计软件中的软核，可以配置成AXI4-lite接口模式或者AXI4接口模式。

多核处理器从多核的结构上是否一致，分为两种基本架构：同构多核架构和异构多核架构。同构多核处理器是指系统中的处理器在结构上是相同的；而异构处理器是指系统中的处理器在结构上是不同的，这些处理器可以是通用处理器，也可以是解决某些特定应用的专用硬核。同构多核架构相比于异构多核架构，在硬件和软件设计上较为简单，通用性较高。但在某些特定应用场合下，如异构多核架构专用的硬件加速硬核，异构多核架构的性能会更高。

1）实验平台：正点原子MPSoC开发板2）平台购买地址：https://detail.tmall.com/item.htm?id=6924508746703）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.htmlDP接口即DisplayPort接口，DisplayPort是由视频电子标准协会(VESA)发布的显示接口。作为DVI的继任者，DisplayPort将在传输视频信号的同时加入对高清音频信号传输的支持，同时支持更高的分辨率和

eMMC的英文全称是Embedded Multi Media Card，即嵌入式多媒体卡（又叫嵌入式存储卡），eMMC是MMC协会所订立的内嵌式存储器标准规格，主要是针对手机或者平板电脑为主，是一种非易失性的存储器件。eMMC采用统一的MMC标准接口，把高密度的NAND Flash以及Device Controller（也叫Flash控制器）封装在一颗BGA芯片中，从而减少了对PCB主板空间的占用。

1）实验平台：正点原子MPSoC开发板2）平台购买地址：https://detail.tmall.com/item.htm?id=6924508746703）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.htmlSD存储卡是一种基于半导体快闪记忆器的记忆设备。它具有体积小、传输速度快、支持热插拔等优点，在便携式装置领域得到了广泛的应用，如手机、多媒体播放器等。本章我们将使用MPSOC开发板学习如何对SD卡（这里特指Micro SD卡

MPSOC中的QSPI Flash控制器分为传统QSPI控制器(LQSPI)和通用QSPI控制器(GQSPI)两个。传统QSPI控制器通过AXI从接口提供了线性可寻址的内存空间。支持引导配置(BOOT)和应用软件配置的就地执行(execute-in-place)。通用QSPI控制器提供I/O，DMA和SPI三种接口模式，不支持引导(BOOT)和就地执行(execute-in-place)。I/O接口配置如下图所示：图13.1.1 QSPI I/O接口配置。

RTC（Real_Time Clock）实时时钟模块是由集成电路构成，通常被称为时钟芯片。实时时钟(RTC)单元的作用一般是为系统和应用软件提供准确的时基，为了提升时钟精度，RTC还包括校准电路以抵消温度和电压波动。RTC由VCC_PSAUX或VCC_PSBATT电源供电，当辅助电源（VCC_PSAUX）可用时，RTC使用它来保持计数器工作；当辅助电源不可用时，RTC自动切换到电池电源（VCC_PSBATT）工作。

1）实验平台：正点原子MPSoC开发板2）平台购买地址：https://detail.tmall.com/item.htm?id=6924508746703）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.html在“PS SYSMON测量温度电压实验”中，我们通过PS端SYSMON成功实现了读取芯片内部的温度和电压等信息。但除此之外，还可以通过PL SYSMON测量外部电压，本章将通过PL SYSMON测量外部输入模拟电压。本章包

PS SYSMON模块位于PS端低功耗域内，由VCC_PSAUX和VCC_PSADC供电。PS SYSMON能同时测量两个温度和几个固定的电压节点。AXI互联主机通过PS SYSMON和AMS寄存器组控制PS端SYSMON模块。MPSOC中PS SYSMON和PL SYSMON模块都属于SYSMONE4结构，结构上存在很多相似处。也有许多不同点，例如采样率，参考电压，编程接口，电源域，温度传感器等。PS SYSMON模块框图如下图所示：图10.1.1 PS SYSMON模块框图。

PS有许多不同类型的定时器和计数器，包括APU MPCore AArch64定时器，三路定时器(TTC)，系统看门狗定时器。APU MPCore AArch64定时器包括APU MPCore全局定时器和APU私有定时器。MPSOC有4个三路定时器，每个三路定时器中有3个相似的计数器，三路定时器可以计算来自MIO引脚或EMIO引脚信号脉冲宽度，并产生中断。PS中有3个系统看门狗定时器(SWDT)，用于检测系统故障并从中恢复。定时器的系统框图如图 9.1.1所示：图 9.1.1 定时器系统框图。

UART控制器介绍UART控制器是一个全双工异步收发控制器，MPSOC内部包含两个UART控制器，UART0和UART1。每一个UART控制器支持可编程的波特率发生器、64字节的接收FIFO和发送FIFO、产生中断、RXD和TXD信号的环回模式设置以及可配置的数据位长度、停止位和校验方式等。UART控制器的配置以及状态的获取由控制（Control）和状态寄存器（Status Registers）完成。

MPSOC的系统启动过程由平台管理单元(PMU)和配置安全单元(CSU)管理和执行。启动过程包括三个功能阶段：预配置阶段、配置阶段和后配置阶段。预配置阶段由平台管理单元控制。平台管理单元运行PMU ROM代码以设置系统。PMU处理所有复位和唤醒过程。在配置阶段，BootROM(CSU ROM代码的一部分)解释引导头以配置系统，并在安全或非安全引导模式下将处理系统(PS)的第一阶段引导加载程序(FSBL)代码加载到片上RAM(OCM)中。

在Vivado软件中，我们可以很方便的通过创建和封装IP向导的方式来自定义IP核。自定义IP核可以定制化系统设计，以达到设计重用的目的，可以很大程度上简化系统设计和缩短产品上市的时间。本章我们将向大家介绍自定义IP核的方法。本章包括以下几个部分：66.1简介6.2实验任务6.3硬件设计6.4软件设计6.5下载验证Xilinx官方为我们提供了非常丰富的IP核，如数学运算（乘法器、浮点运算器等）、信号处理（FFT、DDS等），我们可以通过调用这些IP核来快速完成设计。

AXI GPIO IP核为AXI接口提供了一个通用的输入/输出接口。与PS端的GPIO不同，AXI GPIO是一个软核（Soft IP），即MPSOC芯片在出厂时并不存在这样的一个硬件电路，而是由用户通过配置PL端的逻辑资源来实现的一个功能模块。而PS端的GPIO是一个硬核（Hard IP），它是一个生产时在硅片中实现的功能电路。AXI GPIO可以配置成单通道或者双通道，每个通道的位宽可以单独设置。另外通过打开或者关闭三态缓冲器，AXI GPIO的端口还可以被动态地配置成输入或者输出接口。

当处理器收到中断，它会停下当前正在做的任务，然后跳转到需要处理的地方去。这和轮询的方式是相反的，轮询是由软件同步获取设备的状态。在中断方式中，不需要由处理器不断地轮询设备的I/O端口来查看是否需要处理，设备本身会中断处理器。中断（主要是硬件中断）可以进一步被分类为以下几种类型：• 可屏蔽中断（Maskable Interrupts，IRQ)—可通过在中断屏蔽寄存器中设定位掩码来关闭。触发可屏蔽中断的事件源不总是重要的。程序设计人员需要决定该事件是否应该导致程序跳到所需处理的地方去。

MPSOC GPIO接口信号被分成六组，分别是从BANK0到BANK5。其中BANK0， BANK1和BANK2共计78个信号通过MIO连接到MPSOC器件的引脚上，这些引脚属于PS端；而BANK3，BANK4和BANK5中共计96个信号则通过EMIO连接到了MPSOC器件的PL端。如下图所示：图 3.1.1 GPIO框图在大多数情况下，PS端经由EMIO引出的接口会直接连接到PL端的器件引脚上，通过IO管脚约束来指定所连接PL引脚的位置。

MPSOC分为PS和PL两部分，那么器件的引脚（Pin）资源同样也分成了两部分。MPSOC PS中的外设可以通过MIO（Multiuse I/O，多用输入/输出）模块连接到PS端的引脚上，也可以通过EMIO连接到PL端的引脚。MPSOC系列芯片一般有78个MIO。GPIO是英文“general purpose I/O”的缩写，即通用的输入/输出。它是MPSOC PS中的一个外设，用于观测和控制器件引脚的状态。

首先我们来了解一下MPSOC嵌入式系统的开发流程。图 1.1.1 MPSOC嵌入式系统开发流程如上图所示，开发流程大体可以分为6步。其中step1至step4为硬件设计部分，在Vivado软件中实现；step5为软件设计部分，在Vitis软件中实现；step6为功能的验证。复杂的程序还涉及Debug，这个也是在Vitis软件中实施。具体每一步的操作我们会在后面详细介绍。在简单了解嵌入式系统的开发流程后，接下来我们来看一下什么是嵌入式最小系统。

1）实验平台：正点原子RV1126 Linux开发板2）平台购买地址：https://detail.tmall.com/item.htm?id=6921762657493）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.html默认出厂系统Qt使用Linuxfb（/dev/fb0）作为设备，Linuxfb效率低且未优化，所以会出现图像撕裂的现象。如滑动屏幕时，由于大量数据需要更新，图像于是就出现撕裂的情况。为了避免这种情况，我们可以设

1）实验平台：正点原子RV1126 Linux开发板2）平台购买地址：https://detail.tmall.com/item.htm?id=6921762657493）全套实验源码+手册+视频下载地址： http://www.openedv.com/thread-340252-1-1.html为了能够在Ubuntu下qt creator IDE上开发、编译ATK-DLRV1126平台（ARM 32bit）Qt应用程序，我们需要对其进行相应的配置，包括qmake、ATK-DLRV1126交叉编译器等配