中图法分类号 计算机视觉方面,一种利用计算机视觉与图像识别的物品统计算法专利_专利查询 - 天眼查...

1.一种利用计算机视觉与图像识别的物品统计算法，其特征在于，包含以下步骤：

A、首先要对六个摄像头进行相机标定，相机标定的目标是计算相机的内部参数，比如焦距和图像中心坐标，以及每对相机之间的相对位置以及角度；

B、获得商品的三维模型；估算商品在三维空间中的姿态；

C、商品位置估计；估算商品在三维空间中的位置；

单摄像头以及双摄像头交叉验证。

2.根据权利要求1所述的一种利用计算机视觉与图像识别的物品统计算法，其特征在于，所述相机标定包括以下两种方式；a)单摄像头标定。如图1，用每一个摄像头拍摄一些不同姿态的平面棋盘格图案，然后计算摄像头的内部矩阵和鱼眼畸变系数，b)双摄像头标定。我们需要对每一层的两个相机同时拍摄标定图像，并加以反畸变操作。然后，使用上一步估算的内部矩阵以及标定图案中特征点的三维以及二维位置，解PnP来得到每个相机到标定板平面的姿态，进而获得它们之间的相对位置和角度。

3.根据权利要求1所述的一种利用计算机视觉与图像识别的物品统计算法，其特征在于，所述步骤B是通过特征图与三维模型的匹配计算得到，具体步骤如下：第一步是获得物体不同视角的已标定图片，即对于每一个视角拍摄的图片，我们都需要计算出相机是从哪个角度拍摄到的这张图片，第二步是对目标进行背景移除，生成前景图像，为了获得精确的前景掩膜像, 采用基于深度学习的Mask R-CNN神经网络，以及谷歌开源的DeepLabv3+工程；第三步是模型雕刻和内部挖空处理，即在一个封闭的三维空间中创造一些三维坐标点云，并且根据相机的标定参数和剪影图像，从每个角度去掉非物体的点云，由于只需要知道图像的表面信息，为了简化模型，我们去掉了物体的内部点云，首先把点云转换为三维像素，然后分别在两个坐标轴上进行形态学操作，第四步是对这个模型进行水平集转换，进而实施形状优化，水平集转换是把整个模型分为若干个层，即切面，由于挖空处理，每一个切面是一个轮廓，可以用极值坐标来表示轮廓上的点云坐标，我们把每一层都按照固定数量的角度进行量化，得到了一个二维的流形，其中横轴为角度，纵轴为物体的z轴，每个像素值表示半径，然后对这个流形进行双边滤波，以及强化平滑的非线性优化，得到一个保留细节的平滑模型，第五步是点云染色，即顶点染色，使用第一步获得的彩色图像和第二步获得的前景图像，以及相机参数，即可找到点云到彩色图像上像素点的对应关系，并对其赋予颜色值，第六步是生成模型文件，选择了通用性较高的ply格式，该格式的文件包括顶点信息以及平面信息，每个顶点信息包括该顶点的xyz坐标以及颜色rgb，为了使用GPU进行模型渲染，需要给定面信息，即顶点的连接方式，由于在第四步以及进行了水平集转换，只需要连接相邻少量顶点即可。

4.根据权利要求1所述的一种利用计算机视觉与图像识别的物品统计算法，其特征在于，所述步骤C具体包括：第一步，对于一张输入图像，首先使用商品检测部分获得的物品中心点的图像坐标，以及拍摄该图像的相机的姿态和参数，计算出一个物体射线，这个射线的原点是相机中心点，射线本身与图像坐标点重合，第二步，计算物体在射线上的位置，进而获得它的三维坐标；由于并不是所有商品都有一台以上相机同时观测到，我们选择通过物体在图像上的投影大小和它的实际投影面积来得到它的深度，然而物体的投影面积和它的姿态有关，比如瓶盖对着摄像头时的投影面积，就比瓶身对着摄像头时的面积要小，为了解决这个问题，我们使用了先前生成的三维模型，进一步说，就是寻找一个三维模型的姿态和位置，能和相机所看到的实际物体尽可能相似，即，其中，其中M表示三维模型，r和t表示物体的姿态，I表示实际图像， P表示平面投影映射, B表示从图像到特征图的映射，为了获得三维模型的平面投影，我们使用了OpenGL渲染先前生成的三维模型，并生成某个投影面的图像，与物体图像进行匹配，由于单纯的模板匹配受到光照、亮度以及颜色的影响较大，我们在特征图空间中，通过ROIAlign的方法执行这个操作，在获得物体姿态之后，我们就可以使用相机参数和透视变换求得商品在物体摄像上的位置。

5.根据权利要求1-4任一所述的一种利用计算机视觉与图像识别的物品统计算法，其特征在于，所述步骤D具体包括：首先对每个摄像头获得的检测结果做一个置信度估算。这个数值由两方面的数据获得。第一，最小化后的损失函数，例如，某物体的检测位置和种类不相符，那么它的最小化损失函数会高出给定阈值，第二，若估算出的物体坐标超出有效区域，那么可以直接判断该检测结果无效。