huanghongqi11的博客

嵌入式开发设备基于NXP的 i.MX8MMini 系列芯片。它是一款64 位 4 核处理器，运行速度高达 1.8GHz，配合着 2G 内存、16G 高存储设备以及丰富的外围模块及接口资源，有着强大的处理性能、多媒体性能，为人工智能、物联网应用、工业级嵌入式产品而精心打造的平台。

机器学习应用领域十分广泛，例如：数据挖掘、数据分类、计算机视觉、自然语言处理(NLP)、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA 序列测序、语音和手写识别、战略游戏和机器人运用等。机器学习就是设计一个算法模型来处理数据，输出我们想要的结果，我们可以针对算法模型进行不断的调优，形成更准确的数据处理能力。但这种学习不会让机器产生意识。➢ 机器学习的工作方式选择数据：将你的数据分成三组：训练数据、验证数据和测试数据。模型数据：使用训练数据来构建使用相关特征的模型。

有多种方式从现实世界中获取数字图像：数码相机，扫描仪，计算机断层扫描和磁共振成像等等。在任何情况下，人类看到的都是图像。然而，当将其转换为数字设备时，数字设备记录的是图像中每个点的数值Mat 类中有一些基本属性：cols ：矩阵列数；rows：矩阵行数；channels：通道数；type：数据类型；total：矩阵总元素数；data：指向矩阵数据块的指针。

色彩是人的眼睛对于不同频率的光线的不同感受，色彩既是客观存在的（不同频率的光）又是主观感知的，有认识差异。所以人类对于色彩的认识经历了极为漫长的过程，直到近代才逐步完善起来，但至今，人类仍不能说对色彩完全了解并准确表述了，许多概念不是那么容易理解。“色彩空间”一词源于西方的“Color Space”，又称作“色域”，色彩学中，人们建立了多种色彩模型，以一维、二维、三维甚至四维空间坐标来表示某一色彩，这种坐标系统所能定义的色彩范围即色彩空间。我们经常用到的色彩空间主要有 RGB、CMYK、Lab 等。

OpenCV 有绘图函数，可以把想要的图形直接绘制到图像上，提供了绘制直线的接口 line()，绘制箭头的接口 arrowedLine()，绘制矩形的接口 rectangle()，绘制圆的接口 circle()，绘制椭圆的接口 ellipse()，填充多边形接口 fillConvexPoly()，绘制轮廓的接口 drawContours()，绘制文字的接口 putText()。当一个图像的大小增加之后，组成图像的像素的可见度将会变得更高，从而使得图像表现得粗糙。tmp: 当前图像，初始化为原图像 src。

图像灰处理即是将一幅彩色图像转换为灰度化图像的过程。彩色图像通常包括 R、G、B 三个分量，分别显示出红绿蓝等各种颜色，灰度化就是使彩色图像的 R、G、B 三个分量相等的过程。灰度图像中每个像素仅具有一种样本颜色，其灰度是位于黑色与白色之间的多级色彩深度，灰度值大的像素点比较亮，反之比较暗，像素值最大为 255（表示白色），像素值最小为 0（表示黑色）。灰度处理有很多中方法，例如一张彩色图片，OpenCV 在读取这张图片的时候就可以直接读取为灰度图像。还可以调用 OpenCV 提供的 cvtColor 接口

二值化是图像分割的一种重要方法，图像的二值化就是将图像的表示方法缩减成两种状态，要么是 0，要么是 1，对于肉眼看到的就是非黑即白。一幅彩色图像，比如是 RGB888 的，则有 R/G/B 三个通道，每个通道的位深都是 8，所以 R、G、B 都有 0 到 255 的变化空间，表现出来的就是 256 种颜色。三个通道柔和在一起表示一个像素点，就有 224 种颜色。灰度图像是将 RGB 三个通道缩减到一个通道，于是他的变化空间就是 0 到 255，也就是 256 种颜色。

马赛克指现行广为使用的一种图像（视频）处理手段，此手段将影像特定区域的色阶细节劣化并造成色块打乱的效果，因为这种模糊看上去有一个个的小格子组成，便形象的称这种画面为马赛克。其目的通常是使之无法辨认。要实现图像的马赛克效果，我们只需要设置一个像素块，并将该像素块中的所有像素都使用同一个 bgr 值来表示。图像进行马赛克处理的时候，如果像素块设置得相对比较小，将图像拿得足够远，无法起到马赛克的效果马赛克是一种常见的图像处理技术，通常用于隐藏图像中的某些细节或者对隐私敏感的区域进行模糊处理。

图像处理（image processing）又称为影像处理，是用计算机对图像进行达到所需结果的技术。起源于20 世纪 20 年代，一般为数字图像处理。图像处理技术的主要内容包括图像压缩、增强复原、匹配描述识别 3 个部分，常见的处理有图像数字化、图像编码、图像增强、图像复原、图像分割和图像分析等。图像处理是利用计算机对图像信息进行加工以满足人的视觉心理或者应用需求的行为，应用广泛，多用于测绘学、大气科学、天文学、美图、使图像提高辨识等。关于图像的编码和压缩，本次实验不做解释。

椒盐噪声是一种常见的图像噪声，表现为随机出现的 纯白（盐噪声） 和 纯黑（椒噪声） 像素点，通常由传感器故障、信号传输错误或存储介质损坏引起。以下是其特性、添加方法及去噪方案。噪声像素值为 0（黑） 或 255（白），随机分布在图像中视觉表现：图像上散落黑白点，类似胡椒和盐粒。return -1;waitKey(0);return 0;

图像特征主要有图像的颜色特征、纹理特征、形状特征和空间关系特征。颜色特征是一种全局特征，描述了图像或图像区域所对应的景物的表面性质；纹理特征也是一种全局特征，它也描述了图像或图像区域所对应景物的表面性质；形状特征有两类表示方法，一类是轮廓特征，另一类是区域特征，图像的轮廓特征主要针对物体的外边界，而图像的区域特征则关系到整个形状区域；空间关系特征，是指图像中分割出来的多个目标之间的相互的空间位置或相对方向关系，这些关系也可分为连接/邻接关系、交叠/重叠关系和包含/包容关系等。

Haar-like 特征最早是由 Papageorgiou 等应用于人脸表示，Viola 和 Jones 在此基础上，使用 3 种类型 4种形式的特征。Haar 特征分为三类：边缘特征、线性特征、中心特征和对角线特征，组合成特征模板。边缘特征（Edge Features）比如：一个白色矩形和一个相邻的黑色矩形。用于检测亮度突然变化的位置，例如眼睛的上下边缘。2.线条特征（Line Features）：比如：白-黑-白 三个矩形排列，用来检测图像中的线条结构。

第一个参数：img，为需要检测的输入图像，img 可以是灰度图像，也可以是彩色图像；第二个参数：foundLocations，存取检测到目标的位置信息；第三个参数：hitThreshold，调用的时候可以不传入，是特征到 SVM 超平面的距离阈值；第四个参数：winStride，也是可选参数，表示 HOG 检测窗口移动时的步长；第五个参数：padding，可选参数，在原图的基础上添加边框像素，可以提高边缘目标的检测朱雀率；

LBP（Local Binary Pattern，局部二值模式）是一种用来描述图像局部纹理特征的算子；它具有旋转不变性和灰度不变性等显著的优点。它是首先由 T. Ojala, M.Pietikäinen, 和 D. Harwood 在 1994 年提出，用于纹理特征提取。而且，提取的特征是图像的局部的纹理特征。原始的 LBP 算子定义为在 33 的窗口内，以窗口中心像素为阈值，将相邻的 8 个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素 点的位置被标记为 1，否则为 0。这样，3。

人脸识别可以基于 LBP 特征 来实现，OpenCV 实际上已经为我们封装好了一个完整的 LBP 人脸识别模型。确保你安装的是 OpenCV 3.4+ 或 OpenCV 4.x（含 opencv_contrib）。低的版本无法运行。OpenCV 提供了三个主流的人脸识别器：1.收集人脸数据（灰度图，每张图对应一个标签 ID）使用 LBPHFaceRecognizer 训练模型保存或加载模型注意地方：每个人最好准备 10 张不同角度和光照的灰度图图像统一尺寸（如 100x100）图像预处理：equalizeH

图像识别（Image Recognition）是指利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对像的技术。图像识别的发展经历了三个阶段：文字识别、数字图像处理与识别、物体识别。机器学习领域一般将此类识别问题转化为分类问题。手写识别是常见的图像识别任务。计算机通过手写体图片来识别出图片中的字，与印刷字体不同的是，不同人的手写体风格迥异，大小不一， 造成了计算机对手写识别任务的一些困难。数字手写体识别由于其有限的类别（0~9 共 10 个数字）成为了相对简单的手写识别任务。

K最近邻（K-Nearest Neighbors，KNN）是一种简单且广泛使用的监督学习算法，主要用于分类和回归任务。

分类算法的本质：给定一个对象 X，将该对象划分到之前预定义好的某个类别 Yi 中，怎么将 X 划分到 Yi 的方法就是分类算法。分类算法用在什么地方？在我们的身边有很多这种需求，例如人群分类，在一个学校，对男生、女生分类，对不同的专业进行分类等；再比如新闻分类，比如军事新闻、科技新闻等进行分类；再比如垃圾邮件过滤、网页信息过滤等。

K-means 算法，是一种无监督分类算法，也称为 K-平均或者 K-均值，一般作为掌握聚类算法的第一个算法。所以 K-means 算法也称为 K 均值聚类算法（k-means clustering algorithm），是一种迭代求解的聚类分析算法，其步骤是，预先将数据分为 K 组，则随机选取 K 个对象作为初始的聚类中心，然后计算每个对象与各个种子聚类中心之间的距离，把每个对象分配给距离它最近的聚类中心。聚类中心以及分配给它们的对象就代表一个聚类。

贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类。而朴素朴素贝叶斯分类是贝叶斯分类中最简单，也是常见的一种分类方法。下面从基本的概念叙述朴素贝叶斯分类概念：随机试验是在相同条件下对某随机现象进行的大量重复观察。随机事件是在随机试验中，可能出现也可能不出现，而在大量重复试验中具有某种规律性的事件叫做随机事件。贝叶斯定理是关于随机事件A 和 B 的条件概率（或边缘概率）的一则定理。其中 P(A|B)是在 B 发生的情况下 A 发生的可能性。

决策树是一种机器学习的方法。决策树的生成算法有 ID3, C4.5 和 C5.0 等。决策树是一种树形结构，其中每个内部节点表示一个属性上的判断，每个分支代表一个判断结果的输出，最后每个叶节点代表一种分类结果。决策树是一种十分常用的分类方法，需要监管学习（有教师的 Supervised Learning），监管学习就是给出一堆样本，每个样本都有一组属性和一个分类结果，也就是分类结果已知，那么通过学习这些样本得到一个决策树，这个决策树能够对新的数据给出正确的分类。

随机森林指的是利用多棵树对样本进行训练并预测的一种分类器。该分类器最早由 Leo Breiman 和 Adele Cutler 提出，并被注册成了商标。在机器学习中，随机森林是一个包含多个决策树的分类器，并且其输出的类别是由个别输出的类别的众数而定。随机森林是 1995 年由贝尔实验室的 Tin Kam Ho 所提出的随机决策森林而来。是结合了 Breimans 的“Bootstrap aggregating”想法和 Ho 的“random subspace method”而建造的决策树的集合。

逻辑回归的过程可以概括为：面对一个回归或者分类问题，建立代价函数，然后通过优化方法迭代求解出最优的模型参数，然后测试验证我们这个求解的模型的好坏。Logistic 回归虽然名字里带“回归”，但是它实际上是一种分类方法，主要用于二分类问题（即输出只有两种，分别代表两个类别）。回归模型中，y 是一个定性变量，比如 y=0 或 1，logistic 方法主要应用于研究某些时间发生的概率。

支持向量机（Support Vector Machine, SVM）是一类按监督学习（supervised learning）方式对数据进行二元分类的广义线性分类器（generalized linear classifier），其决策边界是对学习样本求解的最大边距超平面（maximum-margin hyperplane）。SVM 被提出于 1964 年，在二十世纪 90 年代后得到快速发展并衍生出一系列改进和扩展算法，在人像识别、文本分类等模式识别（pattern recognition）问题中得到应用。

跟人工智能相关的术语中，经常会听到梯度下降这个词，本次实验就主要讲述与梯度下降法相关的知识。首先了解梯度，梯度的本意是一个向量（矢量），表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向（此梯度的方向）变化最快，变化率最大（为该梯度的模）。比如函数 f(x,y)，分别对 x，y 求偏导数，求得的梯度向量就是(∂f/∂x,∂f/∂y)T，简称 grad f(x,y)。对于在点(x0,y0)的具体梯度向量就是(∂f/∂x0, ∂f/∂y0)T。

人工神经网络（Artificial Neural Network，即 ANN ），是 20 世纪 80 年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象， 建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励（激活）函数（act每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

文字识别实际是我们日常用语，专业名称叫做光学字符识别（OCR）。OCR（Optical Character Recognition，光学字符识别）是指电子设备（例如扫描仪或数码相机）检查纸上打印的字符，通过检测暗、亮的模式确定其形状，然后用字符识别方法将形状翻译成计算机文字的过程；即，针对印刷体字符，采用光学的方式将纸质文档中的文字转换成为黑白点阵的图像文件，并通过识别软件将图像中的文字转换成文本格式，供文字处理软件进一步编辑加工的技术。

卷积神经网络。卷积是什么意思呢？从数学上说，卷积是一种运算。它是我们学习高等数学之后新接触的一种运算。在泛函分析中，卷积、旋积或摺积(英语：Convolution)是通过两个函数 f 和 g 生成第三个函数的一种数学算子，表征函数 f 与 g 经过翻转和平移的重叠部分函数值乘积对重叠长度的积分。卷积神经网络听起来像是一个奇怪的生物学和数学的结合，但是这些网络已经成为计算机视觉领域最具影响力的创新之一。

Dlib 是一个包含机器学习算法的 C++开源工具包。Dlib 可以帮助我们创建很多复杂的机器学习方面的软件来帮助解决实际问题。目前 Dlib 已经被广泛的用在行业和学术领域，包括机器人，嵌入式设备，移动电话和大型高性能计算环境。Dlib 是开源、免费的，官网：http://dlib.net，地址：https://github.com/davisking/dlib。

车牌自动识别是一项利用车辆的动态视频或静态图像进行牌照号码、牌照颜色自动识别的模式识别技术。其硬件设备一般包括触发设备(监测车辆是否进入视野)、摄像设备、照明设备、图像采集设备、识别车牌号码的处理机(如计算机)等，其软件核心包括车牌定位算法、车牌字符分割算法和光学字符识别算法等。某些车牌识别系统还具有通过视频图像判断是否有车的功能称之为视频车辆检测。一个完整的车牌识别系统应包括车辆检测、图像采集、车牌识别等几部分。当车辆检测部分检测到车辆到达时触发图像采集单元，采集当前的视频图像。

从 LeNet5 到 DenseNet，反应卷积网络的一个发展方向：提高精度。图像的空间特征、颜色特征等，对于物体识别在某些方面的精度要求不是那么高，那么有没有一种网络可以在精度一定要求下提高运算速度呢？提高运算速度的调整大概有两个方向：减少可学习参数的数量；减少整个网络的计算量。SqueezeNet的模型压缩1.将 3x3 卷积替换成 1x1 卷积：通过这一步，一个卷积操作的参数数量减少了 9 倍。

我们有时候在一些科幻电影里看到类似 所示的画面，感觉很是高端大气上档次，那么我们能不能做到类似的识别效果呢？这和我们的实验七类似，实验九是识别视野中的主要物体，这里不仅识别到了，还将识别到的物体框选出来了。如果从最开始的基础到现在，关于常用的算法、各种神经网络已经了解得够多了，这里我们再加一个 YOLO 算法。当我们谈起计算机视觉时，首先想到的就是图像分类。图像分类是计算机视觉最基本的任务之一，但是在图像分类的基础上，还有更复杂和有意思的任务，如目标检测，物体定位，图像分割等。

需要准备的工具⚫ 一根 Mini USB 线⚫ 嵌入式人工智能教学科研平台⚫ 12V DC 电源⚫ 一台电脑。

主要介绍EAIDK-610的介绍入门

不同的应用程序如果调用相同的库，那么在内存里只需要有一份该共享库的实例，规避了空间浪费问题。inc 里面存放是头文件、main存放是main文件，src存放是库的源文件，object 现在是空，后面存放目标文件和最终生成的可执行文件。由于很多开发的工具库的文件是很多，如果在编译过程中，需要指定库文件名的话，这个开发工作量很大的。库是写好的，现有的，成熟的，可以复用的代码。静态库，是因为在链接阶段，会将汇编生成的目标文件.o与引用到的库一起链接打包到可执行文件中。程序开发的时候，文件是比较多的。

介绍基于eaidk-610自带的tengine的模型的部署