getusushu的博客

建筑物初始点云模型和立面点云模型在两个不同的坐标系下，因此需要将两个点云集 配准，完整同一坐标系下的融合。针对现有 ICP方法在两个点云集合初始位置过大时容 易陷入局部极值的问题，引入初值配准，通过初始配准降低两个初始点云集的误差，为点 云精确配准提供更佳的初始位置，从而提升配准精度及效率。点云初配准是在提取特征后 查找特征点,通过特征点来求解变换转换矩阵。

由于采用从粗到细的建模方式，这使建筑物初始模型和立面贴近模型的配准融合成为 建筑物精细化三维重建的重要部分，点云配准精度决定着建筑物三维模型的完整度，配准 精度差会导致模型质量降低。影响配准精度的首要问题是噪声点和离群点，无人机在对建筑物各面航拍时，会拍摄 到建筑物以外的场景，这些信息在影像匹配重建时也生成了三维点云信息，过多的噪声点 会干扰建筑物点云的匹配时准确的定位对应点，因此在匹配前，首先需要对原始建筑物点 云滤波处理，提取出建筑物点云信息，再进行配准。

通过点云技术，激光雷达的成像能够更为清晰、精准，能够充分发挥高分辨率的优点。点云的应用不仅可以节省掉传统的建模时间，也增加了模型准确性，是激光雷达的技术优势之一。车载激光雷达是一种移动型扫描系统，可以通过发射和接收激光束，分析激光遇到目标对象后的折返时间，计算出目标对象与车的相对距离，并利用收集的目标对象表面大量的密集点的三维坐标、反射率等信息，快速复建出目标的三维模型及各种图件数据，建立三维点云图，绘制出环境地图，以达到环境感知的目的。

在本文算法的配准结果中，两片待配准的点云已经完全。为了验证本章算法的可行性，针对标准库中的多视角兔子点云数据进行配准实验，实验算法进行实验，为验证提取轮廓点的方法在工件点云配准方面的优越性，将。、在对工件点云数据提取轮廓点的处理过程中，设置不同的阈值进行初始配准。时，配准误差依旧很大，因此通过配准时间，轮廓点数目以及配准误差等。出的根据轮廓点进行特征点提取的方法是可行的，其初始配准结果良好。所示，绿色点云为源点云，蓝色点云为目标点云，从配准结果可。次配准实验过程中，本章提出的配准算法得到的配准误差均低于。

高，虽然工业机器人可以提高效率，同时不易出错，但工业机器人仍然存在一些弊端，多的制造企业加入“智慧工业”的探索中来，希望实现“机器换人”，尝试将机器人。人，取代人类实现服务的服务型机器人，以及用于搬运重物的搬运机器人、最后就是。更是目前的主流趋势，传统的工业机器人一般是根据二维图像进行抓取，存在固定距。可以从点云数据中重建出目标物体的三维几何结构，为机器人提供精确的三维模型。步，工业机器人被应用于更加复杂的场景与任务中，传统的二维图像极易受光照和物。标信息，可以准确的表示目标的几何形状。

在某些哺乳动物如牛、马、羊等，它们的两眼长在头的两侧，因此两眼的视野完全不重叠，左眼和右眼各自感受不同侧面的光刺激，这些动物仅有单眼视觉（monocular vision)。人和灵长类动物的双眼都在头部的前方，两眼的鼻侧视野相互重叠，因此凡落在此范围内的任何物体都能同时被两眼所见，两眼同时看某一物体时产生的视觉称为双眼视觉（binocular vision)。

镜头的失真度是拍摄图像的中央部分与周围部分的变化比率。由于存在像差，拍摄图像的周边部分会发生某种程度的扭曲现象。失真可分为桶形失真和枕形失真两类。表示失真度的数值（绝对值）越小，则镜头的精度越高。在测量尺寸时，应使用失真度小的镜头。一般说来，长焦距镜头的失真度会相对小一些。桶形失真枕形失真拍摄图像的质量是视觉系统的基础。在了解了选择镜头的基础知识后，可以拍摄出：视野适宜，图像整体聚焦良好，亮度、目标物和背景对比度俱佳的清晰图像。

这差不多就是多头注意力的全部内容了。下面将所有内容放到一张图中，以便我们可以统一查看：现在让我们重新回顾一下前面的例子，看看在对示例句中的“it”进行编码时，不同的注意力头关注的位置分别在哪：当我们对it进行编码时，一个注意力头关注The animal，另一个注意力头关注tired。从某种意义上来说，模型对it的表示，融入了animal和tired的部分表达。的本质是：在参数总量保持不变的情况下，将同样的映射到原来的高维空间的不同子空间中进行Attention的计算，在最后一步再合并不同子空间中的。

机器视觉，是物联网在工业领域的落地方式之一。物联网的4层架构，也适用于机器视觉。应用层平台层传输层感知层物联网简称IOT，Internet Of Things，万物互联。任意带电设备，采集信息，传输信息，在近端（设备本地）或远端（数据中心）处理信息，获取一个或多个结果，并基于该结果，给出相应的决策建议和反馈。可以看到，传输在机器视觉体系框架中，有着非常重要的地位。高带宽。图像数据传输，对带宽要求是非常高的。有的应用，一秒要传几百张未经压缩的原始图片，每张图片从几兆到几十兆不等。高实时性。

点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。那什么是三维图像呢？三维图像是一种特殊的图像信息表达形式。相比较于常见的二维图像，其最大的特征是表达了空间中三个维度（长度宽度和深度）的数据。深度图（以灰度表达物体与相机的距离），几何模型（由CAD软件建立），点云模型（所有逆向工程设备都将物体采样成点云）。根据激光测量原理得到的点云，包括三维坐标（XYZ）和激光反射强度（Intensity）

机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是通过机器视觉产品将被摄取目标转换成图像信号，传送给专用的图像处理系统，得到被摄目标的形态信息，根据像素分布和亮度、颜色等信息，转变成数字化信号;图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。机器视觉是人工智能正在快速发展的一个分支。简单说来，机器视觉就是用机器代替人眼来做测量和判断。

机器视觉(Machine Vision)作为光电技术应用的一个特定领域，目前已经发展成为一个前景光明、活力无限的行业，年平均增长速度超过2O％。机器视觉广泛应用于微电子、电子产品、汽车、医疗、印刷、包装、科研、军事等众多行业。涉及技术一致，应用差异明显，是各种机器视觉应用系统的共同特点。机器视觉系统集成时，涉及到多门技术，最基本的系统也需要照明、成像、图像数字化、图像处理算法、计算机软件硬件等，稍微复杂一点的系统还会用到机械设计、传感器、电子线路、PLC、运动控制、数据库、SPC等等。

目录几个高频面试题目计算机视觉与图像处理、模式识别、机器学习学科之间的关系全景图及计算机视觉技术全景图的简易制作方式合成全景图中计算机视觉技术的知识和原理1特征点匹配2图片匹配应用案例 基于计算机视觉使用Python和OpenCV计算道路交通背景提取算法过滤基于轮廓的目标检测构建处理管道 要实现计算机视觉必须有图像处理的帮助，而图像处理倚仗与模式识别的有效运用，而模式识别是人工智能领域的一个重要分支，人工智能与机器学习密不可分。纵观一切关系，发现计算机视觉的应用服务于机器学习。各个环节缺一不可，相辅相成。计

计算机视觉是当前最热门的研究之一，是一门多学科交叉的研究，涵盖计算机科学（图形学、算法、理论研究等）、数学（信息检索、机器学习）、工程（机器人、NLP等）、生物学（神经系统科学）和心理学（认知科学）。由于计算机视觉表示对视觉环境及背景的相对理解，很多科学家相信，这一领域的研究将为人工智能行业的发展奠定基础。从该领域可以衍生出一系列的应用程序，比如：1.人脸识别：人脸检测算法，能够从照片中认出某人的身份；2.图像检索：类似于谷歌图像使用基于内容的查询来搜索相关图像，算法返回与3.查询内容最佳匹配的图像。

机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。

图像识别是利用计算机对图像进行处理、分析和理解，以识别各种不同模式的目标和对象的技术，是应用深度学习算法的一种实践应用。图像分类是根据图像的语义信息对不同类别图像进行区分，是计算机视觉的核心，是物体检测、图像分割、物体跟踪、行为分析、人脸识别等其他高层次视觉任务的基础。图像识别与分类在许多领域都有着广泛的应用。

边缘和轮廓的提取是一个非常棘手的工作，细节也许就会被过强的图像线条掩盖，纹理（texture）本身就是一种很弱的边缘分布模式，分级（hierarchical）表示是常用的方法，俗称尺度空间（scale space）。图像边缘是两个具有不同灰度的均匀图像区域的边界，边缘检测是图像处理的基本问题，目的是标识数字图像中亮度变化明显的边缘点，不断向上构成更高层次的特征描述。并且剔除不相关的特征信息，保留图像重要的结构属性。

机器视觉，是通过光学装置和非接触式的传感器，自动地接收和处理一个真实物体的图像，以获得所需信息或用于控制机器人运动的装置。这是美国制造工程师协会(SME)机器视觉分会和美国机器人工业协会(RIA)自动化视觉分会，对机器视觉的定义。机器视觉，就是用机器代替人眼，来做测量和判断。本质上，机器视觉是图像分析技术在工厂自动化中的应用，通过使用光学系统、工业数字相机和图像处理工具，来模拟人的视觉能力，并做出相应的决策，最终通过指挥某种特定的装置执行这些决策。

相比之下，滤波器级别的剪枝可直接运行在现有的运行库下，而滤波器级别的剪枝的关键是如何衡量滤波器的重要程度。此外，有研究认为，二值运算的表示能力有限，因此其使用一个额外的浮点数缩放二值卷积后的结果，以提升网络表示能力。类似于人脸验证的思路，利用孪生网络，一支输入第一帧包围盒内图像，另一支输入其他帧的候选图像区域，输出两张图的相似度。这两类问题的基本思路。可以看出，生成的图像中出现了很多狗的图案，这是因为ImageNet数据集1000类别中有200类关于狗，因此，神经网络中有很多神经元致力于识别图像中的狗。

1、视场角定义：视场角，即FOV，是衡量照相系统拍摄范围能力的标准。由上述公式所知，视场角随着像高的增大而增大，随着焦距的增加而减小。（该公式仅适用畸变较小的情况，其中h是像高，f是镜头焦距）1）在光学仪器中，以光学仪器的镜头为顶点，以被测目标的物像可通过镜头的最大范围的两条边缘构成的夹角，称为视场角。视场角的大小决定了光学仪器的视野范围，视场角越大，视野就越大，光学倍率就越小。通俗地说，目标物体超过这个角就不会被收在镜头里。2）在显示系统中，视场角就是显示器边缘与观察点（眼睛）连线的夹角。

paper对新手不友好，简单的事情用了公式来解释，非常繁琐。希望本文能比原文容易理解一点。

车牌识别在交通中已经应用了很多年，但实际中还有很多车牌是很难准确识别的，比如随意大角度倾斜的车牌，在过去很多年其实解决的都不好，可以说过去3-5年车牌识别技术曾处于一种瓶颈期，但现在这两年可以看到有些已经可以识别了，这其实很大程度上得益于深度学习技术的应用，有了新的突破，各种姿态的，各种角度的车牌都能很好的识别。目前，城市道路中的摄像头越来越多，也有越来越多的计算机视觉技术被用于自动检测交通的违规行为，如超速、闯红灯或停车标志、错误驾驶和非法转弯，这个在高速公路和城市交叉口上的应用非常广泛。

SLAM (simultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边逐步描绘出此环境完全的地图，所谓完全的地图（a consistent map）是指不受障碍行进到房间可进入的每个角落。SLAM最早由Smith、Self和Cheeseman于1988年提出。

企业在使用AOI检测装置大体经历了三个阶段，分别为被动使用阶段、逼迫使用阶段、主动要求使用阶段，随着PCB、FPD制造企业对AOI检测设备的接受程度逐渐加深，AOI检测设备的渗透率也逐渐提高。FPD平板显示器：Mura缺陷检测，Color Filter检测，PI检测，LC液晶检测，色度、膜厚、光学密度检测LC液晶检测，色度、膜厚、光学密度检测。随着技术的发展，SMT组装逐步精细化和细小化，人眼检测无法满足产品质量的要求，人工成本提升，企业为了节约成本，提升质量要求，主动使用AOI检测设备。

计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取‘信息’的人工智能系统。这里所指的信息指Shannon定义的，可以用来帮助做一个“决定”的信息。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。

在计算机视觉中, 三维重建是指根据单视图或者多视图的图像重建三维信息的过程. 由于单视频的信息不完全,因此三维重建需要利用经验知识. 而多视图的三维重建(类似人的双目定位)相对比较容易, 其方法是先对摄像机进行标定, 即计算出摄像机的图象坐标系与世界坐标系的关系.然后利用多个二维图象中的信息重建出三维信息。

从定义上来看，像素是指基本原色素及其灰度的基本编码。像素是构成数码影像的基本单元，通常以像素每英寸PPI(pixels per inch)为单位来表示影像分辨率的大小。1什么是像素自从智能手机的广泛使用，小编觉得大家对像素这个词多多少少都有点认识吧？如果还是不知道，那就反转你的手机看看背后的摄像头，或者来看一下小编的科普吧。像素是构成数码影像的基本单元，通常以像素每英寸PPI(pixels per inch)为单位来表示影像分辨率的大小。

随着高清采集、高清传输、高清解码和显示设备的不断升级，极大地满足了人们对高清画质的需求。高清设备带来的高分辨率提升了视频清晰度，但仍不能保证在所有情况下都能看的清楚，看的明白，比如雨天、雾霾等恶劣天气或者夜间低照度环境下，虽百万像素也只能望图兴叹，无可奈何了；又如为了节省带宽而采用高压缩比编码带来的分块效应，造成图像质量下降。

SLAMsimultaneous localization and mapping),也称为CML (Concurrent Mapping and Localization), 即时定位与地图构建，或并发建图与定位。问题可以描述为：将一个机器人放入未知环境中的未知位置，是否有办法让机器人一边逐步描绘出此环境完全的地图，同时一边决定机器人应该往哪个方向行进。例如扫地机器人就是一个很典型的SLAM问题，所谓完全的地图（）是指不受障碍行进到房间可进入的每个角落。SLAM。

铝型材作为建筑和机械工业领域中重要的应用材料，其全行业的产量和消费量在世界范围内逐年递增。铝型材在生产过程中，由于材料特性和加工工艺，不可避免存在表面缺陷，严重影响铝型材的可靠性、安全性和可加工性。在实际生产中，对铝型材表面缺陷进行准确快速识别，对保证铝型材的质量至关重要。传统的铝型材表面缺陷识别方法包括涡流检测法、超声导波检测及红外检测法等识别成本高、设备复杂，且不易实现缺陷识别过程的可视化。机器视觉检测作为一种非接触式在线自动检测技术，具有非接触、安全性高、识别效率高和工作时间长的特点，是实现表面缺陷准

最近几年点云的三维目标检测一直很火，从早期的PointNet、PointNet++，到体素网格的VoxelNet，后来大家觉得三维卷积过于耗时，又推出了Complex-yolo等模型把点云投影到二维平面，用图像的方法做目标检测，从而加速网络推理。所以在点云上实现3D目标检测通常就是这三种做法：3D卷积、投影到前视图或者鸟瞰图（Bev）。3D卷积的缺点是计算量较大，导致网络的推理速度较慢。投影的方式受到点云的稀疏性的限制，使得卷积无法较好的提取特征，效率低下。

图像配准是使用某种算法，基于某种评估标准，将一副或多副图片（局部）最优映射到目标图片上的方法。根据不同配准方法，不同评判标准和不同图片类型，有不同类型的图像配准方法。图像配准在计算机视觉、医学图像处理、材料力学、遥感等领域有广泛应用。由于可应用图像配准的图像类型众多，暂时无法开发出可满足所有用途的通用优化方法。图像配准在医学图像处理与分析中有众多具有实用价值的应用。随着医学成像设备的进步，对于同一患者，可以采集含有准确解剖信息的图像诸如CT，MRI；

事实上，这种情况非常常见，因为有些场景下两个相机需要独立固定，很难保证光心完全水平，即使固定在同一个基板上也会由于装配的原因导致光心不完全水平，如下图所示：两个相机的极线不平行，并且不共面。左图中三个十字标志的点，右图中对应的极线是右图中的三条白色直线，也就是对应的搜索区域。又因为上述多种因素的影响，为保证匹配结果的鲁棒性，需要在算法中增加大量的错误剔除策略，因此对算法要求较高，想要实现可靠商用难度大，计算量较大。P在相机O1中的成像点是P1，在相机O2中的成像点是P2，但是P的位置是未知的。

在许多工业环境中，依赖人工检查员的公司通常会保留一份已定义零件缺陷的书面日志。在训练深度学习系统时，还必须预先定义这些缺陷，以便软件能够识别出有缺陷的部件。

深度学习直接通过大数据的训练得到/调整一个深度NN模型的参数，在当今计算能力日新月异的平台（GPU/FPGA/ASIC/Muli-core）上实现了计算机视觉/语音识别/自然语言处理（NLP）等领域一些应用的突破。但是专家们还是对今后深度学习的发展有些期待和展望，比如非监督学习方法的引入减轻大数据标注的负担，比如GAN；NN模型的压缩和精简以普及深度学习在移动终端甚至物联网终端的广泛应用；

目前计算机视觉（CV，computer vision）与自然语言处理（Natural Language Process， NLP）及语音识别（Speech Recognition）并列为人工智能（AI，artificial intelligence）·机器学习（ML，machine learning）·深度学习（DL，deep learning）方向的三大热点方向。

点胶缺陷的类别定义在实际的点胶过程中，往往因为点胶量的大小、 点胶压力、针头大小、胶水的粘度以及胶水温度等因素，导致生产的胶条会存在各种各样的缺陷，从而影响产品的质量。工业生产中比较常见的几种缺陷种类，其具体定义如下所示：(1)多胶：胶条中间部分宽度大于其他部分，如图a)所示；(2)少胶：胶条中间部分宽度小于其他部分，如图b)所示；(3)断胶：胶条出现一次或多次的断裂，如图c) 所示；(4)扭曲：胶条整体存在多处弯曲现象，如图d) 所示；(5)气泡：胶条中含有数目较多的气泡，如图e) 所示；

PIL（Python Image Library）是一种免费的图像处理工具包，这个软件包提供了基本的图像处理功能，如：改变图像大小，旋转图像，图像格式转化，色场空间转换（这个我不太懂），图像增强（就是改善清晰度，突出图像有用信息），直方图处理，插值（利用已知邻近像素点的灰度值来产生未知像素点的灰度值）和滤波等等。虽然这个软件包要实现复杂的图像处理算法并不太适合，但是python的快速开发能力以及面向对象等等诸多特点使得它非常适合用来进行原型开发。

线扫描相机一般主流的分辨率为１０２４，２０４８，４０９６，６１４４，８１９２，１２２８８，１６３８４最重要的是分辨率和相机的行频。说到行频就肯定和接口有关系了，接口主要有RS接口，ＬＶＤＳ，Ｃｈａｎｎｅｌｌｉｎｋ（这几种目前几乎都不用了），目前主流ＧＩＧＥ，Ｃａｍｅｒａｌｉｎｋ（标准），１３９４，还有各种高速接口，HSｌｉｎｋ，ｃｏａｘｌｉｎｋ等等。主要的区别就是在数据的传输量和传输距离上（希望有群友搞下这些传输线的对比图）。相机的输出形式好像在另一帖子也有描述，这里就不多讲了。

目前，钢管的表面缺陷的检测大多通过人工方式实现，人工方式依赖于现场经验且效率低，受现场环境的影响，劳动强度大，易产生漏检和误检现象，不能全面反应钢管表面的质量，检测实时性差，检测种类少，检测效率低，缺乏对产品的表面质量的综合评估。当图像获取不理想时，会增加图像处理的难度。根据图像饱和度、像素分布、目标图像边沿、亮度等信息转换成计算机识别的数字信号，利用先进的算法对图像进行特征识别，将特征识别出来的结果进行评价，输出最终的缺陷结果，包括缺陷、尺寸、角度、个数、合格与不合格、有无等，实现自动识别功能。