Mat - 基本映像容器

目标

我们有多种方法可以从现实世界中获取数字图像：数码相机、扫描仪、计算机断层扫描和磁共振成像等等。在每种情况下，我们（人类）看到的都是图像。但是，当将其转换为我们的数字设备时，我们记录的是图像每个点的数值。

例如，在上图中，您可以看到汽车的后视镜只不过是一个包含像素点所有强度值的矩阵。我们获取和存储像素值的方式可能会根据我们的需要而有所不同，但最终计算机世界中的所有图像都可能被简化为数字矩阵和其他描述矩阵本身的信息。OpenCV 是一个计算机视觉库，其主要重点是处理和操作这些信息。因此，您首先需要熟悉的是 OpenCV 如何存储和处理图像。

席

OpenCV 自 2001 年以来一直存在。在那些日子里，该库是围绕 C 接口构建的，为了将图像存储在内存中，他们使用了称为 IplImage 的 C 结构。这是您将在大多数较旧的教程和教育材料中看到的。这样做的问题在于它带来了 C 语言的所有缺点。最大的问题是手动内存管理。它建立在用户负责处理内存分配和解除分配的假设之上。虽然这对于较小的程序来说不是问题，但一旦你的代码库增长，处理所有这些问题将更加困难，而不是专注于解决你的开发目标。

幸运的是，C++出现了，并引入了类的概念，通过自动内存管理（或多或少）使用户更容易。好消息是 C++ 与 C 完全兼容，因此进行更改不会出现兼容性问题。因此，OpenCV 2.0引入了一个新的C++接口，它提供了一种新的做事方式，这意味着你不需要摆弄内存管理，使你的代码简洁（更少的编写，实现更多）。C++接口的主要缺点是目前许多嵌入式开发系统仅支持C。因此，除非你以嵌入式平台为目标，否则使用旧方法就没有意义（除非你是一个受虐狂程序员，而且你是自找麻烦）。

关于 Mat，您需要了解的第一件事是，您不再需要手动分配其内存并在不需要时立即释放它。虽然这样做仍然有可能，但大多数 OpenCV 函数将自动分配其输出数据。如果你传递一个已经存在的 Mat 对象，它已经为矩阵分配了所需的空间，这将被重用。换句话说，我们始终只使用执行任务所需的内存。

Mat 基本上是一个包含两个数据部分的类：矩阵标头（包含矩阵的大小、用于存储的方法、矩阵存储的地址等信息）和指向包含像素值的矩阵的指针（根据选择的存储方法采取任何维度）。矩阵标头大小是恒定的，但是矩阵本身的大小可能因图像而异，并且通常大几个数量级。

OpenCV是一个图像处理库。它包含大量图像处理功能。为了解决计算挑战，大多数情况下，您最终会使用库的多个函数。因此，将图像传递给函数是一种常见的做法。我们不应该忘记，我们谈论的是图像处理算法，它往往非常繁重的计算量。我们最不想做的就是通过对潜在的大图像进行不必要的复制来进一步降低程序的速度。

为了解决这个问题，OpenCV使用了一个参考计数系统。这个想法是每个 Mat 对象都有自己的标头，但是可以通过让它们的矩阵指针指向同一地址，在两个 Mat 对象之间共享矩阵。此外，复制运算符将仅复制标头和指向大型矩阵的指针，而不会复制数据本身。

垫子 A、C;只创建标头部分

A = 不读取（argv[1]， IMREAD_COLOR）;在这里，我们将知道使用的方法（分配矩阵）

垫子 B（A）;使用复制构造函数

C = A;赋值运算符 // 赋值运算符

最后，上述所有对象都指向同一个数据矩阵，使用其中任何一个进行修改也会影响所有其他对象。在实践中，不同的对象只是为相同的基础数据提供不同的访问方法。然而，它们的标题部分是不同的。真正有趣的部分是，您可以创建仅引用完整数据的子部分的标题。例如，要在图像中创建感兴趣区域 （ROI），只需创建一个具有新边界的新标题：

垫子 D （A， Rect（10， 10， 100， 100） ）;使用矩形

垫子 E = A（Range：：all（）， Range（1,3））;使用行和列边界

现在你可能会问——如果矩阵本身可能属于多个 Mat 对象，那么当不再需要它时，谁负责清理它？简短的回答是：使用它的最后一个对象。这是通过使用引用计数机制来处理的。每当有人复制 Mat 对象的标头时，矩阵的计数器就会增加。每当清理标头时，此计数器都会减少。当计数器达到零时，矩阵被释放。有时你也想复制矩阵本身，所以 OpenCV 提供了 cv：：Mat：：clone（） 和 cv：：Mat：：copyTo（） 函数。

垫子 F = A.克隆（）;

垫子G;

A.copyTo（G）;

现在修改 F 或 G 不会影响 A 标头指向的矩阵。从这一切中你需要记住的是：

• OpenCV 函数的输出图像分配是自动的（除非另有说明）。
• 您无需考虑使用 OpenCV 的 C++ 接口进行内存管理。
• 赋值运算符和复制构造函数仅复制标头。
• 可以使用 cv：：Mat：：clone（） 和 cv：：Mat：：copyTo（） 函数复制图像的底层矩阵。

存储方法

这是关于如何存储像素值的。您可以选择使用的色彩空间和数据类型。色彩空间是指我们如何组合颜色组件以编码给定的颜色。最简单的一种是灰度，我们可以使用的颜色是黑色和白色。这些的结合使我们能够创建许多灰色阴影。

对于丰富多彩的方式，我们有更多的方法可供选择。它们中的每一个都将其分解为三个或四个基本组件，我们可以使用这些组件的组合来创建其他组件。最受欢迎的是RGB，主要是因为这也是我们的眼睛建立颜色的方式。它的基色是红色、绿色和蓝色。为了对颜色的透明度进行编码，有时会添加第四个元素 alpha （A）。

然而，还有许多其他颜色系统，每个颜色系统都有自己的优点：

• RGB 是最常见的，因为我们的眼睛使用类似的东西，但请记住，OpenCV 标准显示系统使用 BGR 色彩空间（红色和蓝色通道互换位置）组成颜色。
• HSV 和 HLS 将颜色分解为色调、饱和度和值/亮度分量，这是我们描述颜色的一种更自然的方式。例如，您可能会忽略最后一个分量，从而使您的算法对输入图像的光照条件不太敏感。
• YCrCb 被流行的 JPEG 图像格式使用。
• CIE Lab* 是一个感知均匀的色彩空间，如果您需要测量给定颜色与另一种颜色的距离，它会派上用场。

每个建筑构件都有其自己的有效域。这导致了使用的数据类型。我们如何存储组件定义了我们对其域的控制。可能的最小数据类型是 char，这意味着 1 个字节或 8 位。这可以是无符号的（因此可以存储从 0 到 255 的值）或有符号（从 -127 到 +127 的值）。尽管在三个组件（如 RGB）的情况下，这个宽度已经提供了 1600 万种可能的颜色来表示，但我们可以通过使用浮点数（4 字节 = 32 位）或双精度（8 字节 = 64 位）数据类型来获得更精细的控制每个组件。但是，请记住，增加组件的大小也会增加内存中整个图片的大小。

显式创建 Mat 对象

在加载、修改和保存图像教程中，您已经学习了如何使用 cv：：imwrite（） 函数将矩阵写入图像文件。但是，出于调试目的，查看实际值要方便得多。您可以使用 Mat 的 << 运算符执行此操作。请注意，这仅适用于二维矩阵。

虽然 Mat 作为图像容器工作得非常好，但它也是一个通用的矩阵类。因此，可以创建和操作多维矩阵。您可以通过多种方式创建 Mat 对象：

• cv：：Mat：：垫构造 函数

  垫子 M（2,2， CV_8UC3， 标量 （0,0,255））;

  cout << “M = ” << endl << “ ” << M << endl << endl;

  

  对于二维和多通道图像，我们首先定义它们的大小：行数和列数。

  然后，我们需要指定用于存储元素的数据类型以及每个矩阵点的通道数。为此，我们根据以下约定构造了多个定义：

  CV_[每个项目的位数][有符号或无符号][类型前缀]C[通道号]

  例如，CV_8UC3意味着我们使用长度为 8 位的无符号字符类型，每个像素有三个这样的字符来形成三个通道。有预定义的类型，最多可支持四个通道。cv：：Scalar 是四元素短向量。指定它，您可以使用自定义值初始化所有矩阵点。如果需要更多，可以使用上部宏创建类型，在括号中设置通道号，如下所示。

• 使用 C/C++ 数组并通过构造函数初始化

  ​ int sz[3] = {2,2,2};

  垫 L（3，sz， CV_8UC（1）， 标量：：all（0））;

  上面的示例演示如何创建具有两个以上维度的矩阵。指定其尺寸，然后传递一个指针，其中包含每个尺寸的大小，其余部分保持不变。

• cv：：Mat：：create 函数：

  M.创建（4,4， CV_8UC（2））;

  cout << “M = ”<< endl << “ ” << M << endl << endl;

  

  不能使用此构造初始化矩阵值。只有当新大小不适合旧大小时，它才会重新分配其矩阵数据存储器。

• MATLAB样式初始化器： cv：：Mat：：zeros ， cv：：Mat：：ones ， cv：：Mat：：eye . 指定要使用的大小和数据类型：

  垫子 E = 垫子：：eye（4， 4， CV_64F);

  cout << “E = ” << endl << “ ” << E << endl << endl;

  垫子 O = 垫：：ones（2， 2， CV_32F);

  cout << “O = ” << endl << “ ” << O << endl << endl;

  垫子 Z = 垫子：：零（3,3， CV_8UC1);

  cout << “Z = ” << endl << “ ” << Z << endl << endl;

  

• 对于小矩阵，您可以使用逗号分隔的初始值设定项或初始值设定项列表（最后一种情况需要 C++11 支持）：

  垫子 C = （Mat_（3,3） << 0， -1， 0， -1， 5， -1， 0， -1， 0）;

  cout << “C = ” << endl << “ ” << C << endl << endl;

  C = （Mat_（{0， -1， 0， -1， 5， -1， 0， -1， 0}））.reshape（3）;

  cout << “C = ” << endl << “ ” << C << endl << endl;

  

• 为现有 Mat 对象创建一个新标头，然后 cv：：Mat：：clone 或 cv：：Mat：：copyTo 它。

  垫 RowClone = C.row（1）.clone（）;

  cout << “RowClone = ” << endl << “ ” << RowClone << endl << endl;

  

  • 注意

    您可以使用 cv：：randu（） 函数用随机值填充矩阵。您需要为随机值提供下限和上限：垫子 R = 垫子（3， 2， CV_8UC3); randu（R， 标量：：all（0）， 标量：：all（255））;

  输出格式

在上面的示例中，您可以看到默认格式选项。但是，OpenCV 允许您格式化矩阵输出：

• 违约

  cout << “R （default） = ” << endl << R << endl << endl;

  

• 蟒

  cout << “R （python） = ” << endl << format（R， Formatter：：FMT_PYTHON） << endl << endl;

  

• 逗号分隔值 （CSV）

  cout << “R （csv） = ” << endl << format（R， Formatter：：FMT_CSV ） << endl << endl;

  

• Numpy的

  cout << “R （numpy） = ” << endl << format（R， Formatter：：FMT_NUMPY ） << endl << endl;

  

• C

  cout << “R （c） = ” << endl << format（R， Formatter：：FMT_C ） << endl << endl;

  

其他常见项目的输出

OpenCV 也通过 << 运算符提供对其他常见 OpenCV 数据结构输出的支持：

• 2D 点

  ​ 点2fP（5， 1）;

  cout << “点 （2D） = ” << P << endl << endl;

  

• 3D 点

  ​ 点3fP3f（2， 6， 7）;

  cout << “点 （3D） = ” << P3f << endl << endl;

  

• std：：vector 通过 cv：：Mat

  向量<浮点数> v;

  v.push_back（（浮点）CV_PI）;v.push_back（2）;v.push_back（3.01F）;

  cout << “通过 Mat = ” 的浮点向量 << Mat（v） << endl << endl;

  

• std：：点向量

  矢量 vPoints（20）;

  ​ for （size_t i = 0; i < vPoints.size（）; ++i）

  vPoints[i] = Point2f（（浮点数）（i * 5）， （浮点数）（i % 7））;

  cout << “2D 点的向量 = ” << vPoints << endl << endl;

  

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取==🆓