原创 多线程编程10例

进程和线程都是操作系统的概念。进程是应用程序的执行实例，每个进程是由私有的虚拟地址空间、代码、数据和其它各种系统资源组成，进程在运行过程中创建的资源随着进程的终止而被销毁，所使用的系统资源在进程终止时被释放或关闭。线程是进程内部的一个执行单元。系统创建好进程后，实际上就启动执行了该进程的主执行线程，主执行线程以函数地址形式，比如说main或WinMain函数，将程序的启动点提供给Windows系统。主执行线程终止了，进程也就随之终止。

原创 超强面经——目标检测篇

Faster R-CNN是一种两阶段（two-stage）方法,它提出的RPN网络取代了选择性搜索（Selective search）算法后使检测任务可以由神经网络端到端地完成。在结构上，Faster RCNN将特征抽取(feature extraction)，候选区域提取（Region proposal提取），边框回归（bounding box regression），分类（classification）都整合在了一个网络中，使得综合性能有较大提高，在检测速度方面尤为明显。

原创 利用mAP计算目标检测精确度

TP是分类器认为是正样本而且确实是正样本的例子，FP是分类器认为是正样本但实际上不是正样本的例子，Precision翻译成中文就是“分类器认为是正类并且确实是正类的部分占所有分类器认为是正类的比例”。TP是分类器认为是正样本而且确实是正样本的例子，FN是分类器认为是负样本但实际上不是负样本的例子，Recall翻译成中文就是“分类器认为是正类并且确实是正类的部分占所有确实是正类的比例”。FP（False Positives）意思就是被分为了正样本，但是分错了（事实上这个样本是负样本）。N是Negative。

原创 9.2 二值图像的基本形态学运算

原创 9.1 数学形态学预备知识

原创 8.4 Matching助手

原创 8.3 图像金字塔

原创 Segment Anything论文解读

本文提出Segment Anything (SA)项目:一个用于图像分割的新任务、模型和数据集。在数据收集循环中使用我们的高效模型，我们构建了迄今为止(到目前为止)最大的分割数据集，在1100万张授权和尊重隐私的图像上有超过10亿个掩码。该模型被设计和训练为可提示的，因此它可以将零样本迁移到新的图像分布和任务。评估了其在许多任务上的能力，发现其零样本性能令人印象深刻——通常与之前的完全监督结果竞争，甚至优于。

原创 光学动作捕捉系统中的反光标识点（Marker点）

通常使用身着动作捕捉服装方式进行贴点，一般在全身的贴点量通常大于或等于50个反光标识点（Marker点），每个肢体段都保证附着有3~5个Marker，其贴点位置通常在骨性标志点的关节处以及肢体段的中心，以保证运动中对点的遮挡不会影响动作捕捉效果的稳定流畅。不同的应用场景下适配不同的反光标识点（Marker点）类型，例如当被捕捉物尺寸偏小时，需要较小的Marker与之适配，而当其表面非常光滑时，又需要带有双面粘性底座的反光标识点（Marker点）进行固定。

原创 8.2 基于特征的匹配

原创 8.1 基于像素的匹配

原创 7.6 分水岭算法

原创 7.5 动态聚类分割

转载 大恒工业相机实例使用

此外一个特别注意的小坑，SDK中提供了函数GXGetAllDeviceBaseInfo来遍历网络所有设备的信息，可以从其中查询相机的MAC地址、SN等各项信息。在实际工作中，可以使用这个函数获取相机信息后保存起来供以后打开相机使用，千万不能每次打开均使用此函数进行遍历查询，在一个网络设备较多的环境中，这个调用速度会非常慢，从而导致程序挂起。返回的nDeviceNum就是当前网络上存在的相机数量。在网络环境简单的情况下，也可以使用IP地址打开指定相机，但通常这样会增加额外的设备安装时配置工作，所以并不建议。

原创 libtorch各版本windows下载

【代码】libtorch各版本windows下载。

转载 模型转换、模型压缩、模型加速工具汇总

官网链接上图展示了MMdnn的主要功能。MMDNN是一套帮助用户在不同的深度学习框架之间进行交互操作的工具。例如，模型转换和可视化。转换caffe、keras、mxnet、tensorflow、cntk、pytorch onnx和coreml之间的模型。简而言之，通过这个工具，我们可以方便的将某一个框架训练出来的模型转换成另外一个框架所支持的模型，图中基本上包含了当前所有主流的深度学习训练框架，包括Tensorflow、Pytorch、Caffe、MxNet等。除此之外，图中包含了一个关键的概念，那就是。

原创 8.2.2. 在手写数据集上使用支持向量机进行OCR

在本章。

原创 8.2.1. 理解支持向量机

在本章。

原创 8.1. K近邻

我们可以把所有的这些对象看成是一个城镇中房子，而所有的房子分别属于蓝色和红色家族，而这个城镇就是所谓的特征空间。然后我们根据两个家族的权重和来判断新房子的归属，谁的权重大就属于谁。一个方法就是查看他最近的邻居属于那个家族，从图像中我们知道最近的是红色三角家族。下面就是 kNN 算法分类器的初始化，我们要传入一个训练数据集，以及与训练数据对应的分类来训练 kNN 分类器（构建搜索树）。你可能会得到一个与上面类似的图形，但不会完全一样，因为你使用了随机数产生器，每次你运行代码都会得到不同的结果。

原创 7.4. 立体图像的深度图

x 和 x’ 分别是图像中的点到 3D 空间中的点和到摄像机中心的距离。B 是这两个摄像机之间的距离，f 是摄像机的焦距。上边的等式告诉我们点的深度与x 和 x’ 的差成反比。在上一节中我们学习了对极约束的基本概念和相关术语。如果同一场景有两幅图像的话我们在直觉上就可以获得图像的深度信息。下面是的这幅图和其中的数学公式证明我们的直觉是对的。这样就可以找到两幅图像中的匹配点了。通过调整numDisparities和blockSize的值，你可以获得更好的结果。下面的代码片段显示了创建视差图的简单过程。

原创 7.3. 对极几何

简单来说，基础矩阵 F 将一副图像中的点映射到另一幅图像中的线（极线）上。我们的眼睛以类似的方式工作，我们使用两个相机（两只眼睛）来判断物体的距离，称为立体视觉。它应该在这个一维直线的某个地方（想象一下，要找到其他图像中的匹配点，你不需要搜索整个图像，只需沿着极线搜索。如果我们仅使用左侧相机，则无法找到与图像中的点x对应的3D点，因为线OX上的每个点都投影到图像平面上的相同点。从上面给出的设置中，可以看到右侧摄像机O’的投影在该点的左侧图像上看到，例如。所以在本小节中，我们的重点就是寻找极线和极点。

原创 windows10编译ceres-solver库

分别在ceres-solver、gflags、glog文件夹下新建build文件夹，如果遇到与文件名冲突，可修改为其他文件名，例如build-vs。切记选对刚才成功编译的gflags的文件夹。

原创 使用Albutations进行分割图像增强

2、从磁盘读取图像和蒙版读取图像对于语义分割，您通常为每个图像读取一个掩码。Albumentations期望掩码是一个NumPy数组。蒙版的高度和宽度应与图像的高度和宽度具有相同的值。例如分割，您有时需要读取每个图像的多个蒙版。然后创建一个包含所有掩码的列表。3、将图像和蒙版传递到增强管道，并接收增强的图像和蒙版。如果图像具有多个关联的蒙版，则应使用 masks 参数而不是 mask。在 masks 您应该传递一个列表。

原创 使用Albumentations增强目标检测任务

classnameclasslabelfor我们出于可视化目的修复随机种子，因此增强将始终产生相同的结果。在实际的计算机视觉管道中，不应在对图像应用转换之前修复随机种子，因为在这种情况下，管道将始终输出相同的图像。图像增强的目的是每次使用不同的变换。输出不包含任何边界框。

原创 7.2. 姿势估计

简单来说，我们在图像平面上找到了与 3D 空间中的点（3,0,0）,(0,3,0),(0,0,3) 相对应的点。所以，如果我们知道对象在空间中的姿态，我们就可以在图像中绘制一些 2D 的线条来产生 3D 的效果。然后与前面的情况一样，我们创建终止标准，对象点（棋盘中的角点的3D点）和轴点。轴点是3D空间中用于绘制轴的点。所以我们的X轴是从（0,0,0）到（3,0,0）绘制的，同样。对于Z轴，它从（0,0,0）绘制到（0,0，-3）。我们的问题是，在棋盘的第一个角点绘制 3D 坐标轴（X，Y，Z 轴）。

原创 7.1. 相机校准

现在为了求 X，Y 的值，我们只需要传入这些点（0,0），（1,0），（2,0）…在这个例子中，我们的结果的单位就是棋盘（单个）方块的大小。但是如果我们知道单个方块的大小（加入说 30mm），我们输入的值就可以是（0,0），（30,0），（60,0）…（在本例中我们不知道方块的大小，因为不是我们拍的，所以只能用前一种方法了）。重要的是在进行摄像机标定时我们要输入一组 3D 真实世界中的点以及与它们对应 2D 图像中的点。在读取下一帧图像之前要设置一定的间隔，这样我们就有足够的时间调整棋盘的方向。

原创 6.3. 背景差分法

混合的权重表示这些颜色停留在场景中的时间比例，背景颜色是那些保持更长时间和更静态的颜色。如果你有一张背景图像，比如没有顾客的房间，没有交通工具的道路等，我们只需要在新的图像中减去背景就可以得到前景对象了。但是在大多数情况下，我们没有这样的（背景）图像，所以我们需要从我们有的图像中提取背景。如果图像中的交通工具还有影子的话，那这个工作就更难了，因为影子也在移动，仅仅使用背景差分法会把影子也当成前景，这样就有点麻烦了。这是一种自适应的估计，新观察到的对象比旧的对象具有更高的权重，从而对光照变化产生适应。

原创 6.2. 光流

OpenCV 还提供了一种计算稠密光流的方法，它会计算图像中的所有点的光流。图像中的一些特征点甚至在丢失以后，光流还会找到一个预期相似的点。从使用者的角度来看，想法很简单，我们去跟踪一些点，然后我们就会获得这些点的光流向量。直到现在我们处理的都是很小的运动。函数将返回带有状态数的点，如果状态数是 1，那说明在下一帧图像中找到了这个点（上一帧中角点），如果状态数是 0，就说明没有在下一帧图像中找到这个点。这 9 个点的光流方程，用它们组成一个具有两个未知数 9 个等式的方程组，这是一个约束条件过多的方程组。

原创 deep sort论文

Simple Online and Realtime Tracking(SORT)是一个非常简单、有效、实用的多目标跟踪算法。在SORT中，仅仅通过IOU来进行匹配虽然速度非常快，但是ID switch依然非常大。本文提出了Deep SORT算法，相比SORT，通过集成表观信息来提升SORT的表现。通过这个扩展，模型能够更好地处理目标被长时间遮挡的情况，将ID switch指标降低了45%。表观信息。

原创 DeepSORT算法代码解析(全)

以上就是Deep SORT算法代码部分的解析，核心在于类图和流程图，理解Deep SORT实现的过程。如果第一次接触到多目标跟踪算法领域的，可以到知乎上看这篇文章以及其系列，对新手非常友好： https://zhuanlan.zhihu.com/p/62827974笔者也收集了一些多目标跟踪领域中认可度比较高、常见的库，在这里分享给大家：SORT官方代码： https://github.com/abewley/sort。

转载 卷积神经网络中的即插即用模块

即插即用模块一般是作为一个独立的模块，可以用于取代普通的卷积结构，或者直接插入网络结构中。最常见的即插即用模块莫过于注意力模块了，近些年好多略显水的工作都用到了注意力模块，仅仅需要简单添加这些注意力模块即可作为论文的创新点，比如SENet+Darknet53组合。虽然笔者觉得这些模块有些真的是用来水文章的，但是不可否认很多模块确实增强了模型的特征表达能力。具体使用和评判还需要各位在自己的实验中以批判的眼光看待。《卷积神经网络中的即插即用模块》电子书中，笔者将对自己接触过的即插即用模块进行简单讲解。

原创 6.1. Meanshift和Camshift

初始窗口是蓝色的“C1”，它的圆心为蓝色方框“C1_o”，而窗口中所有点质心却是“C1_r”(小的蓝色圆圈)，很明显圆心和点的质心没有重合。这时又可以找到新窗口内所有点的质心，大多数情况下还是不重合的，所以重复上面的操作：将新窗口的中心移动到新的质心。这里面有一个问题，我们的窗口的大小是固定的，而汽车由远及近（在视觉上）是一个逐渐变大的过程，固定窗口是不合适的。假设有一堆点（比如直方图反向投影得到的点），和一个小的窗口（可能是一个圆形窗口），然后将这个窗口移动到最大像素密度处（点最多的地方）。

原创 5.10. 特征匹配结合单应性去查找对象

如果将这两幅图像中的特征点集传给这个函数，他就会找到这个对象的透视图变换。我们使用一个查询图像，在其中找到一些特征点（关键点），我们又在另一幅图像中也找到了一些特征点，最后对这两幅图像之间的特征点进行匹配。简单来说就是：我们在一张杂乱的图像中找到了一个对象（的某些部分）的位置。如果找到了足够的匹配，我们要提取两幅图像中匹配点的坐标。一旦我们找到 3x3 的变换矩阵，就可以使用它将查询图像的四个顶点（四个角）变换到目标图像中去了。首先，像往常一样，让我们在图像中找到SIFT特征并应用比率测试来找到最佳匹配。

原创 5.9. 特征匹配

它需要两个可选的参数，第一个是normType，它指定要使用的距离测量，默认情况下，它是cv.NORM_L2，它适用于SIFT，SURF等（cv.NORM_L1也在那里）。对于基于二进制字符串的描述符，如ORB，BRIEF，BRISK等，应使用cv.NORM_HAMMING，它使用汉明距离作为度量。如果为真，则Matcher仅返回具有值(i，j)的那些匹配，使得集合A中的第i个描述符具有集合B中的第j个描述符作为最佳匹配，反之亦然。在这里，我们将看到一个关于如何匹配两个图像之间的特征的简单示例。

原创 5.8. ORB (Oriented FAST and Rotated BRIEF)

这个算法由Ethan Rublee，Vincent Rabaud，Kurt Konolige和Gary R. Bradski在他们的论文ORB中提出：2011年是SIFT或SURF的有效替代方案。为了解决所有这些问题，ORB在所有可能的二进制测试中运行一个贪婪的搜索，以找到具有高方差和意味着接近0.5的那些，以及不相关的。结果称为rBRIEF。为了改善旋转不变性，用x和y计算矩，该x和y应该在半径为r的圆形区域中，其中r是贴片的大小。处的n个二进制测试的任何特征集，定义2×n矩阵，其包含这些像素的坐标。

原创 5.7. BRIEF (Binary Robust Independent Elementary Features)

但是在实际的匹配过程中如此多的维度是没有必要的。汉明距离的计算只需要进行 XOR 位运算以及位计数，这种计算很适合在现代的CPU 上进行。创建一个包含上千个特征的向量需要消耗大量的内存，在嵌入式等资源有限的设备上这样是不可行的。非常重要的一点是：BRIEF 是一种特征描述符，它不提供查找特征的方法。OpenCV 对这些都提供了支持，但在默认情况下是 256（OpenC 是使用字节表示它们的，所以这些值分别对应与 16，32，64）。这种算法使用的是已经平滑后的图像，它会按照一种特定的方式选取一组像素点对。

原创 5.6. 用于角点检测的FAST算法

FAST 算法比其它角点检测算法都快。但是在噪声很高时不够稳定，这是由阈值决定的。

原创 5.5. SURF (Speeded-Up Robust Features)简介

这样做实际就是对图像进行梯度运算，但是利用积分图像，可以提高计算图像梯度的效率，为了求取主方向值，需哟啊设计一个以方向为中心，张角为 60 度的扇形滑动窗口，以步长为 0.2 弧度左右旋转这个滑动窗口，并对窗口内的图像 Haar 小波的响应值进行累加。这种最小的信息允许更快的匹配，而不会降低描述符的性能。在一个矩形的区域内，以特征点为中心，沿主方向将 20s * 20s 的图像划分成 4 * 4 个子块，每个子块利用尺寸 2s 的 Haar 小波模版进行响应计算，然后对响应值进行统计，组成向量。

原创 5.4. SIFT(Scale-Invariant Feature Transform)简介

例如，检查下面的简单图像。对于图像中的一个像素点而言，它需要与自己周围的 8 邻域，以及尺度空间中上下两层中的相邻的 18（2x9）个点相比。返回的关键点是一个带有很多不同属性的特殊结构体，这些属性中包含它的坐标(x，y)，有意义的邻域大小，确定其方向的角度、指定关键点强度的响应等。该算法的作者在文章中给出了 SIFT 参数的经验值：octaves=4（通过降低采样从而减小图像尺寸，构成尺寸减小的图像金字塔，尺度空间为 5，也就是每个尺寸使用 5 个不同方差的高斯核进行卷积，初始方差是 1.6，

原创 5.3. Shi-Tomasi角点检测和特征追踪

它通过Shi-Tomasi方法（或Harris角点检测，如果你指定它）在图像中找到N个最强角。然后指定质量等级，该等级是0-1之间的值，表示低于每个人被拒绝的角点的最低质量。1994年晚些时候，J.Shi和C.Tomasi在他们的论文《Good Features to Track》中做了一个小修改，与Harris角点检测相比显示出更好的结果。利用所有这些信息，该函数可以在图像中找到角点。低于质量水平的所有角点都被拒绝。然后功能占据第一个最强的角点，抛弃最小距离范围内的所有角点并返回N个最强的角点。