jinking01的专栏

前言在《无人驾驶技术入门（十三）| 手把手教你写卡尔曼滤波器》的分享中，我以激光雷达的数据为例介绍了卡尔曼滤波器（KF）的七个公式，并用C++代码实现了激光雷达障碍物的跟踪问题；在《无人驾驶技术入门（十八）| 手把手教你写扩展卡尔曼滤波器》的分享中，我以毫米波雷达的数据为例，介绍了扩展卡尔曼滤波器（EKF）是如何处理非线性问题的。无论是卡尔曼滤波器处理线性问题还是扩展卡尔曼滤波器处理非线性问题，它们都只涉及到单一传感器的障碍物跟踪。单一传感器有其局限性，比如激光雷达测量位置更准，但无法测量速度；毫米

前言《无人驾驶技术入门（十三）| 手把手教你写卡尔曼滤波器》以一个匀速运动小车的模型为例，让读者从感性上认识了卡尔曼滤波器的基本原理，它包含预测（Prediction）和测量值更新（Measurement update）两大过程。预测和测量值更新的交替执行，实现了卡尔曼滤波在状态估计中的闭环。随后，我从理性分析的角度，以无人驾驶中激光雷达测量障碍物位置的数据为例，结合卡尔曼滤波所用到的公式，使用C++和矩阵运算库Eigen一步步实现了卡尔曼滤波器预测和测量值更新这两大过程的代码。在本次分享中，我

前言上一期的《无人驾驶技术入门（十六）| 初识深度学习之交通标志分类》我以交通标志牌的分类为例，介绍了深度学习中所涉及的有关神经网络的理论知识。包括神经网络中的参数，反向传播原理，训练集、验证集和测试集的区别，通过优化经典的图像分类网络LeNet-5，完成了交通标志牌的分类工作。在本次分享中，我将以优达学城（Udacity）无人驾驶工程师学位中提供的无人车行为克隆项目为例，介绍深度学习在端到端无人车控制方面的应用。所谓端到端是指图像端到控制端，即将摄像机所拍摄的图像结果输入到神经网络中，网络直接输出

前言在上两期的《无人驾驶技术入门》中，我以车道线检测为例，介绍了计算机视觉领域一些基本的算法。应用图像处理算法和调试算法阈值，就能实现车道线的检测和跟踪。车道线检测、跟踪的项目，主要是通过设置ROI（感兴趣区域）、调试算法阈值，通过人为设定规则的方式实现车道线检测。随着人工智能技术的发展，近几年在图像处理领域越来越多地采用深度学习的方式进行图像中物体的识别。使用深度学习的方法识别图像，不仅性能更为鲁棒，而且相比于设定规则的方式，识别率更高。在本次分享中，我将以优达学城（Udacity）无人驾驶工

前言上一期的无人驾驶技术入门，我们以障碍物的跟踪为例，介绍了卡尔曼滤波器的原理、公式和代码的编写。接下来的几期无人驾驶技术入门，我会带大家接触无人驾驶技术的另一个重要的领域——计算机视觉。在无人驾驶技术入门（五）| 没有视觉传感器，还谈什么无人驾驶？中，我介绍了车载视觉传感器能够实现车道线、障碍物、交通标志牌、可通行空间、交通信号灯的检测等。这些检测结果都离不开计算机视觉技术。本次分享，我将以优达学城（Udacity）无人驾驶工程师学位中提供的初级车道线检测项目为例，对课程中使用到的计算机视觉技

前言随着越来越多新势力造车势力的崛起、以及BAT等互联网公司对汽车行业的渗透，使得传统车企也不得不加入了汽车智能化的大潮中。越来越多的新技术被应用到了汽车上，使得汽车不仅越来越智能，也越来越安全。ADAS作为汽车智能化的典型功能，越来越受到业界的重视。高级驾驶辅助系统ADSA（Advanced Driver-Assistance Systems）字面翻译过来是“先进驾驶员辅助系统”，实际上它是一种“辅助驾驶员更便捷更安全使用汽车”的系统。ADAS的研发历史可以追溯到上个世纪50年代，工.

前言无人驾驶技术入门软件篇已经介绍了传感器数据的解析和传感器信息的坐标转换，这两步完成后，我们就会获得某一时刻，自车坐标系下的各种传感器数据，这些数据包括障碍物的位置、速度；车道线的曲线方程、车道线的类型和有效长度；自车的GPS坐标等等。这些信号的组合，表示了无人车当前时刻的环境信息。由于传感器本身的特性，任何测量结果都是有误差的。以障碍物检测为例，如果直接使用传感器的测量结果，在车辆颠簸时，可能会造成障碍物测量结果的突变，这对无人车的感知来说是不可接受的。因此需要在传感器测量结果的基础上，进行跟踪

超声波雷达的检测距离只有3～5米，常见的泊车雷达就是超声波雷达，做自动驾驶，超声波雷达只能用来低速跟车。毫米波雷达可以检测百米外的类金属物体，但是它返回的信息很单薄，只有一个目标点及这个目标的距离、速度等信息，那就意味着我只知道前面有一个块金属（车的后背），具体这块金属有多宽，多高，无法得知。当然也有一些基于毫米波雷达返回的点云做目标检测的，但是准确度依然较低。这样自动驾驶策略就只能十分保守。做不了太复杂的自动驾驶功能。激光雷达是发一或多条激光线出去，得到的信息是一条或多条线，有了线状信息，就可以知

前言在第十一期的分享中，我以CAN总线的解析为例，介绍了如何通过解析CAN总线的消息，获取传感器的数据。这一期的分享将会集中在如何将传感器坐标系下的数据转换到自车坐标系下。无人车上拥有各种各样的传感器，每个传感器的安装位置和角度又不尽相同。对于传感器的提供商，开始并不知道传感器会以什么角度，安装在什么位置，因此只能根据传感器自身建立坐标系。无人驾驶系统是一个多传感器整合的系统，需要将不同位置的传感器数据统一到一个固定的坐标系——自车坐标系下，才能分析当前无人车所在的道路场景。正文无人车的自车

前言到目前为止，无人驾驶技术入门硬件篇的分享已经介绍完了。接下来我将会分享更多和软件相关的内容。这一期的主要内容是——无人驾驶中的CAN（Controller Area Network ）总线。CAN总线在整个无人驾驶系统中有着十分重要的作用。除了在《无人驾驶技术入门（九）——与生俱来的VCU信号》中提到的VCU信号需要通过CAN总线进行传输外，无人车上的某些传感器（如雷达、Mobileye）的信号传递也是通过CAN实现的。我在无人驾驶，个人如何研究？中提到过实现一个无人驾驶系统，会有几个层

前言先看看无人驾驶基本的硬件构造及其成本图片出处：https://www.wired.com/2015/04/cost-of-sensors-autonomous-cars/看完图，就会发现一个十分尴尬的问题——除了超声波雷达以外，剩下的设备都买不起。所以个人做无人驾驶研究，在没有大资金支持的情况下，就不要考虑基于实车做研究了。断了从硬件方面着手做研究的念头，我们直接看看软件方面。软件方面可以做的工作就很多了，掌握其中某一项或多项技能，对你在该领域的发展都大有裨益。操作系统安装...

前言前九次的分享，我将无人车上所用到的主流传感器都做了介绍。这些传感器都是看得到，摸不着的实物。在无人车自动驾驶的过程中，还有一种看不见、摸不到的“传感器”也在发挥着巨大作用，它就是高精度电子地图。高精度电子地图也称为高分辨率地图（HD Map，High Definition Map），是一种专门为无人驾驶服务的地图。与传统导航地图不同的是，高精度地图除了能提供的道路（Road）级别的导航信息外，还能够提供车道（Lane）级别的导航信息。无论是在信息的丰富度还是信息的精度方面，都是远远高于传统导航地

前言在之前的技术分享中，传感器都是安装在汽车外或车内的。而这次要介绍的是汽车生来就具备的传感器信号，即从汽车控制单元（Vehicle Control Unit，简称VCU）中获取的信号。VCU的另外一个名字是“行车电脑”，它通过CAN总线与汽车的发动机、变速器、油门踏板、制动踏板、车身控制器等各种电子设备通信，读取各个控制单元的工作状态，并在需要时对它们进行控制。如下图所示。图片出处：http://www.hirain.com/sts/136如果把汽车比做人，那么VCU就是人..

在无人驾驶中，定位是指通过GPS、惯导、SLAM等技术，得到本车的位置信息。其中，GPS是最常用的一种定位传感器，但它存在着以下几种问题： GPS开放的民用精度不能满足无人驾驶的要求，通常在10~100m（军用精度可到厘米级）； 更新频率较低，通常只有10Hz，当车辆在快速行驶时，不能提供实时的准确位置信息； 受建筑物、树木的遮挡，如在天桥、隧道、地下车库等场景下，GPS定位精度严重降低，甚至无法提供定位信息。 为解决上述问题，在实际应用中，有如下应对方案。 采用差分GP

前言在上一次分享中，我介绍了毫米波雷达的原理、数据特性及优缺点。毫米波雷达的低环境敏感和低成本的特性使得其在ADAS和自动驾驶领域得到了广泛的应用。今天要介绍的是一款极其常见的传感器——超声波雷达。如果你觉得超声波雷达有些陌生，那么它还有一个更通俗的名字——倒车雷达。在倒车入库，慢慢挪动车子的过程中，在驾驶室内能听到”滴滴滴“的声音，这些声音就是根据超声波雷达的检测距离给司机的反馈信息。车载的超声波雷达一般安装在汽车的保险杠上方，隐藏在保险杠的某个位置。在车上外观如下图黄色箭头处的圆点所示。

激光雷达是以发射激光束探测目标的位置、速度等特征量的雷达系统，计算时是按照光的特性来计算。而毫米波雷达是指工作在毫米波波段探测的雷达。毫米波实质上就是电磁波，利用多普勒效应计算。毫米波的频段比较特殊，其频率高于无线电，低于可见光和红外线，频率大致范围是10GHz—200GHz。从工作原理上来讲，激光雷达和毫米波雷达基本类似，都是利用回波成像来构显被探测物体的，就相当于人类用双眼探知而蝙蝠是依靠超声波探知的区别。不过激光雷达发射的电磁波是一条直线，主要以光粒子发射为主要方法，而毫米波雷达发射出去的电磁

在上一次分享中，我对无人驾驶汽车上的激光雷达的原理、数据及功能做了介绍。激光雷达的普及所遇到的最大挑战是：成本过高。单独一个雷达的价格可能就超过了普通小汽车的价格，因此现阶段还没有大规模量产的可能性。为了推进自动驾驶技术的发展，同时要解决摄像机测距、测速不够精确的问题。工程师们选择了性价比更高的毫米波雷达作为测距和测速的传感器。毫米波雷达不仅拥有成本适中的有点，而且能够完美处理激光雷达所处理不了的沙尘天气。下图为百度Apollo 2.0中所使用的毫米波雷达——Continental的ARS-40

正文激光雷达的原理如下图所示，激光雷达的发射器发射出一束激光，激光光束遇到物体后，经过漫反射，返回至激光接收器，雷达模块根据发送和接收信号的时间间隔乘以光速，再除以2，即可计算出发射器与物体的距离。图片出处：http://slideplayer.com/slide/7103535/自动驾驶用的LiDAR通过测量激光束在空中的飞行时间（从发射窗口发射，照射到目标，再反射回接收窗口所需要的时间），乘以光速，得到测距仪到目标的距离。因此，激光探测属于既需要发射又需要接受的主动探测。这种模.

前言上一次的分享里，我介绍了GPS+IMU这组黄金搭档，这两个传感器的组合能够实现城区道路自动驾驶的稳定定位功能，解决了第一个大问题“我”在哪的问题。为了能让无人车能像人一样，遇到障碍物或红灯就减速，直到停止；遇到绿灯或前方无障碍物的情况，进行加速等操作。这就需要车载传感器去周围的环境进行感知。应用于无人车上的传感器目前有四大类，分别是摄像机，激光雷达、毫米波雷达和超声波雷达。不同的传感器根据其传感特性，布置在车身的不同位置。今天我以百度Apollo 2.0开放的摄像头及其模块作为引子，对无

前言上一次的分享里，我对百度 Apollo 计划的技术框架做了介绍，如图。Apollo1.0 封闭场地循迹自动驾驶如果要完成 Apollo 1.0 的“封闭场地寻迹自动驾驶”功能，需要解决一个重要的问题：我（无人车）在哪？“我在哪”这个问题，在 Apollo 1.0 的架构中完全依赖 GPS（全球定位系统） 和 IMU（惯性测量单元）。今天的分享，我会用尽可能简单的语言，介绍GPS的原理及特性，并谈一谈，为什么无人车的定位不仅要依赖GPS，还依赖IMU。我会在下次的分享中，着重地介绍