兄弟们搞智能监测预警领域的产品吗？懂物联网吗？搞边缘计算吗？

可能没有读过研究僧吧，对很多技术的概念理解上存在问题，就像下边这几个：

1）视觉算法是和传统算法以及深度AI算法并列的吗？

视觉算法貌似用到了传统算法合深度AI算法，另外算法貌似还有个焦自然算法的领域，而且算法卖给客户的时候是卖模块还是怎么卖？视觉算法又用到了图像分割、目标跟踪、检测识别方法等，那这三者又有什么区别呢，该怎么学习？视觉算法应该就是机器视觉吧，但是机器视觉就又涉及到了摄像头，普通的有摄像头按机型分类为IPC摄像机、球机、枪机（筒机）、半球、云台、鹰眼等等，但是按功能分又分为夜视，双光谱，热成像、红外、外加补光灯等等，又根据供电方式不通有的是poe供电，有的是电源适配器供电，像部分球机不仅支持光学变焦，也支持数字变焦，但是摄像头主要用的传感器是COMS。

2）说到物联网(lot)就少不了说道人工智能物联网（alot）

大体就以网络，电源，通信，数据处理（ARM架构+CPU+GPU），数据采集几个部分来说吧，另外就是传感器了，说到传感器就少不了雷达（雷达也分为很多类的，有哪些类？常见的雷达的核心参数了解吗？），以及其他前端采集设备，但是物联网组成需要很多模块，，物联网网关、网卡、物联网通信协议像NB-LOT、工控机（小型刀片机）和各种边缘计算盒子（哪边缘计算和普通工控机到区别在哪里？共同点在哪里？）边缘计算也是通过rtu协议对设备进行主控和传输的，只不过多了gup算力，其整体区别在于一个是工控机一个是边缘计算盒子，物联网除了传感器以外还包含很多东西，像数据传输的接口，串口RS485和RS232(哪他们的区别是什么？)。另外算法如何在嵌入式的Linux系统跑起来，别的不说了解一下linux的命令吧（./sh???）

3）ARM也说一下

‌‌ARM架构是一种基于精简指令集(RISC)的处理器架构，由ARM公司设计开发，广泛应用于移动设备、嵌入式系统以及物联网设备等领域，因其低功耗、高效能的特点而备受青睐。‌

ARM架构的特点包括： ‌

低功耗‌：ARM处理器因其精简指令集和高效设计，具有极低的功耗，非常适合电池供电的设备。 ‌

高性能‌：通过优化指令集和硬件设计，ARM处理器在保持低功耗的同时提供高性能计算能力。 ‌

可扩展性与灵活性‌：ARM架构具有高度的可扩展性，从简单的微控制器到高性能多核处理器，都有相应的产品。

例如，‌Cortex-M系列适用于嵌入式控制，‌Cortex-A系列适用于高性能应用。 ‌

生态系统‌：ARM架构通过授权模式，广泛应用于各大半导体公司，形成了丰富的生态系统。 ‌指令集扩展‌：包括‌Thumb指令集和‌NEON SIMD指令集，进一步减少代码尺寸，提高存储效率，并用于加速多媒体和信号处理任务。

ARM架构从最初的版本演变至今，已有多个版本，每个版本都在前一代的基础上进行了改进和扩展。

主要版本包括但不限于： ‌

Cortex系列‌：这是ARM架构中最广泛使用的系列，包括高性能的A系列、适用于实时嵌入式系统的R系列以及低功耗的M系列。

与其他处理器架构如Intel的x86相比，ARM架构在设计理念、应用场景和性能特点上有所不同。x86架构主要应用于个人计算机和服务器市场，而ARM架构则因其低功耗和高能效特性，在移动设备和嵌入式系统中占据主导地位。

此外，ARM架构还通过其独特的授权模式，与多家公司合作，形成了丰富的生态系统，进一步推动了其在各种设备中的应用。‌

4）多传感器融合技术其实包含了机器视觉，那他们是如何做融合的？为找了一篇文章觉得还不错，用来分享一下，但是是车载的，不是我想要的线路安全环境监测

目前，自动驾驶场景的转变驱使着感知内容的深化，研究热点已从结构化高速公路场景更换至目标密集、复杂多变的城市场景，如下图所示，

从二维识别、检测升级至三维多方位分析如下图所示，

相比二维感知仅获取二维（像素）坐标及轨迹，三维感知可全面获悉目标在空间中的距离、位姿、形状、速度等物理参数，大幅提高了感知的实用性、丰富性。面向产品化的感知系统的评价指标愈发多元，不仅以准确度和响应时间来衡量，还加入融合对比、感知范围、环境耐受性、冗余性、容错性等作为考核标准。

典型环境感知层架构可以分为三个部分：传感器层（Sensor Layer）、融合层（Fusion Layer）以及算法处理层（Algorithm Processing Layer），具体如图所示。

1、传感器层-负责读取、收集各个传感器的测量结果，即车辆以光学相机、激光雷达、毫米波雷达等采集周围环境数据，以定位装置（Global Positioning System，GPS）、惯量测量单元传（Inertial Measurement Unit，IMU）、速度计等采集自身行驶状态信息，将真实世界的视觉、物理、事件等信息转变成数字信号，便于之后处理。

2、融合层-负责多传感器之间的坐标标定，并根据预先定义的多传感器融合算法对传感器层传来的数据进行筛选/初步处理，最后将其进行数据/特征融合。

3、算法处理层-将接收的数据抽象为公共的障碍物特征表示，具体表征为对行驶环境中的目标或者障碍物进行识别、分割和检测，获取其类别、尺寸、几何形状、行驶方向、位置等物理和语义信息输出最终的障碍物结果（位置、速度、类别等）。

后文中将从基于单纯图像和多源传感器融合两种技术分别进行说明。

基于视觉信息融合技术

视觉传感器，又称车载摄像头，是将物体通过镜片产生光学图像投射在CMOS光电传感器上，经过模数转换后变为数字信号，再由特定处理器将信号处理成特定格式的图像在显示屏上显示。自动驾驶汽车安装的车载摄像头主要为单目摄像头、双目摄像头和三目摄像头。

单目摄像头是通过摄像头拍摄的平面图像来感知和判断周边环境，识别车辆、路标、行人等固定物体和移动物体，是目前汽车摄像头的主流解决方案，其依靠复杂算法进行测距，准确度低，

其优点在于探测信息丰富，观测距离远，其缺点在于探测易受环境影响。

双目摄像头是通过模仿人眼的功能实现对物体距离和大小的感知，进而感知周边环境，可通过视差和立体匹配计算精准测距。

但双目也存在两个关键的问题。第一是成本问题，第二是安装位的问题。

第一个问题是，双目的方案，两个镜头理论上要一模一样，因为一旦存在差异，会使得测量的准确性大打折扣。业内也会称之为立体摄像头。但一个摄像头是由6个光学的镜片和一些传感器组成，而玻璃镜片的生产制造是打磨出来的，并不是压制而成的。这就从根本上产生了镜片生产存在差异性的问题。

第二个问题是，双目摄像头同时也存在摆放位置的问题。两个镜头之间的距离是10-20cm之间，这个距离需要非常精准，因为这会直接关系到测距的准确性。

由于汽车使用的环境复杂多变，只是温度要求，都是在-40—85度。而传统器材必然有热胀冷缩的问题，那么这就会影响到两个镜头之间的距离。

三目摄像头是通过三个摄像头覆盖不同范围的场景，解决了摄像头无法切换焦距的问题，相比于单目摄像头和双目摄像头，其拥有更好的视野广度和精度，但三目摄像头在判断、测算障碍物距离的时候，由于摄像头的精准度是有一定误差范围的，所以衍生了一个核心的逻辑问题，三个不同的摄像头在相互交汇处，两个相邻摄像头测算的障碍物距离可能是不同的，会普遍存在10米的误差；且三目摄像头由于计算量大，对芯片的数据处理能力要求高，目前成本相对较高。

目前除特斯拉国内外大多数自动驾驶汽车都配备了多种传感器，以便通过处于不同位置的多个或者多种传感器来采集周遭信息，弥补单一传感手段不够丰富、可靠的缺陷，实现预测性驾驶。

此处仅以双目摄像头成像原理说明，双目摄像机结构光测量系统首先是通过投影仪把编码的结构光图案投射到被测物体表面，然后用摄像机对已经投上编码结构光的被测物体进行图像采集，随后利用计算机对采集的图像进行特征点提取及相位匹配，最终获得物体的三维信息。

双目摄像机结构光测量的系统模型如图所示，

双目摄像机三维重建的工作是基于左右摄像机采集图像的相位匹配，与投影仪的位置无关，因此没有必要进行投影仪和摄像机之间的标定，只需要进行常规的双目摄相机标定，从而使得测量系统具有更大的可操作性和灵活性，而且测量系统整体更加稳定，鲁棒性更高。

双目摄像头三维重建流程大致为，首先进行双目摄像头系统标定，标定目的为了获取左、右摄像机之间的空间位置关系，即根据物理世界中某个平面上已知点的坐标及该点摄像机成像面上的坐标，求出该平面到摄像机成像面上的映射关系，求出投影矩阵。

再进行立体匹配，即对于视觉测量系统采集的图像，从一幅图像上寻找与另一幅图像相对应的点的过程，先找到两幅图像中的对应点，然后计算出点的坐标信息，最后进行三维重建，有了立体匹配结果，结合摄像机标定的内外参数，就可以恢复出三维场景信息，即三维点云坐标信息。

多源传感器融合

车辆的自动驾驶运行，需要汇总处理各个传感器接收到的信息，如人类天生就具备将已有知识与身体各个器官探测的信息进行综合的能力，自动驾驶的运行亦需要此种能力--多源数据融合就是对这种能力的模拟。

一个完备的自动驾驶系统往往配备有激光雷达、相机、GPS系统等多个传感器，每个传感器产生的数据是十分巨大的。如果只单独处理每个传感器的信息，会丢失信息之间关联性，降低了信息的利用率，对后期决策造成极大影响。

多源数据融合--多传感器数据融合，其目的在于将各个信息源的信息充分利用，合并冗余信息，组合互补信息，以得到对被测对象的一致性描述和解释。

该过程是整合多个传感器各自优势的过程，通过利用不同传感器间信息互补的特性，可以获取比单个子集更精确的感知能力。

多传感器融合具有以下优势：

1.可以增加测量维数，提高信息能够被信赖的程度，增加置信度，提高系统容错性、可靠性以及安全性；

2.经过不同传感器的组合，可以有效扩大传感器检测范围，增强环境鲁棒性；

3.降低了对单个传感器的性能要求，当单个传感器发生故障时，系统仍然可以保证正常的运行，提高了信息处理的速度；

4.降低了信息获取的成本，提高了系统精度。

融合的方式可以分为按照时间同步和按照空间同步：

1.时间同步是把不同传感器在同一时刻收集到的关于同一物体的信息融合起来-常规处理方法是，将不同传感器在规定时间段采集到的信息筛选出来，并根据采用内插外推等方法将其按照精度高低进行排序，以实现同一时间下不同传感器的统一；

2.空间同步是把不同传感器采集的信息求解到同一坐标系下，这一同步主要是通过单个传感器的标定以及多个传感器联合标定来完成的，即求解不同传感器间的坐标转换关系。在完成空间同步后可以将同一物体在不同传感器下的信息对应起来。

若按照结构模式可以分为，

若按照更合适的信息融合所在层次可分为，

从系统设计的灵活性来考虑，采用特征级融合的方式可根据不同数据来设计不同的特征提取模块，对比于数据级融合从某种程度上提升了系统的灵活性。因为数据级融合对于物理特性相近的图像数据而言比较容易，但由于数据的异构性，对于像雷达数据、激光雷达数据这种与图像在数据形式上差别较大的多模态融合就比较难。

特征级融合也需要将提取后的特征设计成可融合的数据形式，而决策级融合仅需要对目标之间进行匹配。因此，决策级融合的方式在系统灵活性方面相对于其他融合方式更好。

而从系统的稳定性来考虑，当某个传感器无法正常工作，例如红外和可见光融合时场景突然变暗或者光线突然增强都会导致某种模态失效，决策级融合可以通过算法来规避识别结果无效的情况，而数据级融合和特征级融合可能因为单一数据的退化导致整个系统失效。

基于多源传感器数据融合

摄像头捕获的图像包含了目标的颜色信息以及丰富的纹理信息，但是摄像头相对于其他传感器则容易受到光线的影响，若没有足够复杂智能且足够验证的算法，是无法很好适用，同时单个摄像头难以感知周围环境的空间结构信息；

激光雷达具有全天候的感知能力，能够很好地捕获环境结构信息以及目标的轮廓信息，测量不受光线强弱影响但数据稀疏无序，而摄像头的数据分辨率高、细节特征丰富，两者具有极强的互补特性（但在实际应用过程中，超过100m的目标不论是激光雷达还是摄像头，都很难对其准确的识别）。

因此，多模态的传感器数据融合可以增加目标识别系统的鲁棒性，提高行车过程中系统的感知能力。

不同的感知设备由于感知的原理不同，实际上传感器采集到的数据在帧率、视角FOV、探测距离、分辨率等关键参数上均不同。

从时间同步上来说，不同传感器的数据采样率不同，这会导致生成的数据帧率在时间上不统一。数据融合时实际使用的数据通过 GPS 时间戳提供全局的基准，从而依据最近原则来判断具体使用的数据帧，并且丢掉多余的数据帧。

从空间同步上来说，即多源传感器数据在空间上一一对应，需要对传感器本身和传感器之间进行标定，

其中以视觉为例，摄像头的标定是建立世界坐标系中的点与像素的对应关系，使用三维世界中任意一点可以准确映射到二维图像上，标定结果由相机内部参数（内部刻画相机坐标系与图像像素的关系，和镜头在成像过程中对图像产生的畸变，在成像时畸形纠正保持图像与外部环境一致）和外部参数呈现（表示世界坐标系三维坐标与二维图像坐标系中的映射关系）。

由以上可知，当选择shi激光雷达和摄像头作为感知传感器时，激光雷达具有视野广、感知范围大、具有夜视能力且可以直接输出目标精确的深度信息的优势，然而，三维激光雷达点云的分布是随着扫描距离的增加而变得越来越稀疏，因此如果仅依赖三维激光雷达输出的点云进行精确的目标分类会有很大的困难。相机输出的高分辨率图包含丰富的颜色、纹理信息，特别适合精确的目标分类。

多源传感器数据本质上是对同一环境的不同的特征表示，因此从数据特征上考虑，多源传感器数据特征是相关的，利用独立的模块割裂地学习多模态数据特征仅仅是将多种特征提取结果简单融合在一起。然而，对于同一种场景下，不同传感器的信息表征能力是不同的，对于阴影和光照变化等环境，摄像头传感器可能更容易受到影响。同时，对于不同类别物体具有相同的形状时，如上文所说依靠激光雷达的数据可能会变得更加难以对目标进行准确的分类。

4）