自动驾驶行车记录数据提取和分析工具软件设计和应用

一只老虎

已于 2024-08-11 01:55:35 修改

阅读量1.3k

点赞数 35

分类专栏：自动驾驶行业方向算法研究文章标签：自动驾驶硬件工程 ubuntu 嵌入式硬件

于 2024-03-08 12:22:26 首次发布

本文链接：https://blog.csdn.net/sidaotiger/article/details/6525228

版权

自动驾驶同时被 3 个专栏收录

13 篇文章 1 订阅

订阅专栏

行业方向

8 篇文章 0 订阅

订阅专栏

算法研究

5 篇文章 0 订阅

订阅专栏

文章目录

2.2 行车数据记录提取与分析工具研究现状

第一章：引言

1.1 背景与动机

1.1.1 背景

自动驾驶技术是近年来汽车行业的一项重要发展趋势。通过结合先进的传感器技术、计算机视觉和深度学习算法，自动驾驶系统可以使车辆在特定条件下实现无人驾驶。这项技术的兴起引发了对于车辆行为数据记录的需求，以深入了解自动驾驶系统在不同场景下的性能表现。

自动驾驶行车数据记录系统是一种能够监测、采集和记录自动驾驶车辆运行过程中各种关键数据的系统。这些数据可能包括传感器读数、车辆状态、控制输入以及周围环境的信息。通过分析这些数据，研究人员和工程师可以更好地理解自动驾驶系统的行为，改进算法，并提高系统的安全性和性能。

随着自动驾驶技术的飞速发展，车辆行为数据的采集和分析变得至关重要。自动驾驶车辆配备了各种传感器，包括激光雷达、摄像头、雷达等，以感知周围环境。这些传感器产生的海量数据是理解自动驾驶系统性能、优化算法、确保安全性和进行事故分析的关键。因此，自动驾驶行车数据记录系统提取工具应运而生，以有效处理和分析这些海量数据。我国正在加紧推进自动驾驶接管系统（简称DSSAD，也称“自动驾驶数据记录系统”）的强制性国标制定工作，以应对车辆自动驾驶给交通事故定责带来的巨大挑战。

1.1.2 动机

1、数据复杂性： 自动驾驶车辆的传感器产生的数据量巨大，而且包含多种类型的信息，包括图像、点云、雷达数据等。提取工具的动机在于解决这些数据的复杂性，使研究人员能够轻松访问和分析这些信息。

2、算法优化： 自动驾驶算法的性能需要不断优化，以适应各种路况和环境。提取工具的动机在于为算法优化提供支持，通过提供清晰的、可分析的数据，帮助开发人员识别潜在问题并改进算法。

3、实时性需求： 自动驾驶系统对实时性有严格要求。提取工具的动机在于设计高效的数据提取方法，确保及时获取关键信息，从而支持实时决策和控制。

4、安全验证： 行车数据的提取对于系统的安全验证至关重要。通过精准提取关键数据，研究人员和工程师能够有效验证自动驾驶系统在各种场景下的性能，以确保其在复杂环境中的安全运行。

5、法规遵从： 一些地区对于自动驾驶车辆的数据采集和记录提出了法规要求。提取工具的动机在于帮助车辆满足法规标准，以确保其在法规框架内运行。

综上所述，自动驾驶行车数据记录系统提取工具的背景与动机在于应对数据复杂性、支持算法优化、满足实时性需求、进行安全验证和法规遵从，从而推动自动驾驶技术的发展并确保其可靠性和安全性。自动驾驶行车数据记录系统提取工具重要性越发突显，但其面向产线端的测试方法及体系化研究在行业内仍处于空白阶段。

1.2 研究的目的与意义

1、优化自动驾驶算法： 提取工具的主要目的在于为研究人员和工程师提供有效的数据，以优化自动驾驶算法。通过深入分析行车数据，研究人员可以发现算法在不同环境和情境下的性能表现，从而进行精细调整和改进，提高自动驾驶系统的效率和稳定性。

2、支持实时决策和控制： 自动驾驶系统对实时性的要求极高，因此提取工具的研究目的在于设计高效的数据提取方法，以满足系统对及时信息的需求。这有助于支持自动驾驶车辆在复杂交通环境中做出实时决策和控制，提高驾驶安全性。

3、安全性验证和事故分析： 提取工具的研究具有在事故发生时提供详细数据的意义。这些数据对于事故原因的深入分析和责任判定至关重要。通过提取工具记录的数据，研究人员可以还原事故前的车辆状态和行为，有助于了解事故的真实原因，进而改进系统以提高安全性。

4、推动自动驾驶技术发展： 提取工具为自动驾驶技术的发展提供了关键支持。通过研究数据提取工具，我们能够更好地理解自动驾驶系统在实际场景中的运行情况，为技术的进一步演进提供基础。

5、满足法规要求： 在一些地区，法规可能对自动驾驶车辆的数据采集和记录提出要求。提取工具的研究目的在于确保车辆满足这些法规标准，以保证其在法规框架内合规运行。

6、促进行业合作与标准化： 提取工具的研究有助于促进行业内的合作和标准化。通过制定通用的数据提取标准，不同厂商和研究机构可以更好地共享和比较数据，推动整个自动驾驶行业的发展。

综上所述，自动驾驶行车数据记录系统提取工具的研究目的在于优化算法、支持实时决策、提高安全性、推动技术发展、满足法规要求，并促进行业合作与标准化，为自动驾驶技术的成熟和广泛应用做出贡献。

1.3 论文结构

1、摘要（Abstract）：

简明扼要地介绍研究目的、方法和主要结果提供关键词，以便他人更容易找到你的论文

2、目录（Table of Contents）：

列举论文各个章节和子章节的标题及对应页码

3、引言（Introduction）：

引入研究领域的背景，阐述研究的目的和动机，提出研究问题或假设，概述论文结构

4、文献综述（Literature Review）：

回顾与研究主题相关的先前研究和文献，强调已有研究的亮点和不足之处，确定研究的位置并说明研究的创新点，描述研究的整体设计和方法，展示研究的主要结果

5、数据提取工具设计和实现

6、结论（Conclusion）：总结研究的主要发现、强调研究的贡献和意义、提出可能的扩展研究或改进方法。

7、参考文献（References）：列举在论文中引用的所有文献

第二章：文献综述

2.1 自动驾驶技术发展概述

自动驾驶技术的发展是汽车行业和科技领域的一个引人注目的进步。以下是自动驾驶技术发展的概述：

1. 早期阶段：车载辅助系统（1990s - 2000s）

早期的自动驾驶技术主要集中在车载辅助系统，如自适应巡航控制（ACC）和车道保持辅助系统（LKAS）。这些系统旨在提供对车辆运动的基本控制，但驾驶员仍需保持对车辆的监控和控制。

2. 自动驾驶技术的崛起（2010s）

2010年代标志着自动驾驶技术的快速发展。一些汽车制造商和科技公司开始推出更先进的自动驾驶功能。随着计算能力的提升和传感器技术的改进，自动驾驶车辆能够更精准地感知周围环境，执行更复杂的驾驶任务。

级别化的自动驾驶：

SAE J3016标准（2014年），SAE（Society of Automotive Engineers）发布了自动驾驶技术的级别化标准，从级别0（无自动化）到级别5（完全自动化）。大多数现代汽车制造商将焦点放在SAE J3016标准中的级别2和级别3的自动驾驶技术上，实现了部分自动驾驶功能，如自动驾驶在特定条件下的控制和监测。

4. 全球科技公司的介入（2015年以后）

多家全球科技公司投入自动驾驶领域，包括谷歌（Waymo）、苹果、特斯拉、百度等。

这些公司采用不同的技术路线，有的侧重传感器和硬件，有的注重深度学习和人工智能，推动了自动驾驶技术的创新。

5. 城市试点和商用服务（2018年以后）

自动驾驶技术逐渐走向实际应用，一些城市开始进行自动驾驶汽车的试点项目，测试其在真实城市环境中的表现。部分公司推出自动驾驶的商用服务，如自动驾驶出租车和自动驾驶货运。

6. 挑战与未来展望：

自动驾驶技术面临着一系列挑战，包括法规和道德问题、安全性考虑、数据隐私问题等。

未来，预计自动驾驶技术将继续演进，可能实现更高级别的自动化，同时行业将继续应对相关挑战，以推动自动驾驶技术在全球范围内的广泛应用。

2.2 行车数据记录提取与分析工具研究现状

行车数据记录提取与分析工具的研究现状涵盖了广泛的领域，包括自动驾驶、车辆安全、交通管理等。以下是一些关键方面的研究现状：

1. 数据提取技术：

传感器技术： 近年来，车辆装备了各种传感器，如激光雷达、摄像头、雷达等，用于感知周围环境。研究者致力于开发高效的数据提取技术，以从这些传感器中获取准确、实时的数据。

CAN报文数据：CAN接口是一种车辆内部通信协议，用于车辆各个部件之间的实时通信。CAN总线传输的数据以帧（Frame）的形式存在，包含多个字段，如标识符、数据域等。车辆状态信息： CAN报文数据中包括车辆的速度、转向角、加速度等状态信息，提供了对车辆动态行为的详细了解。传感器数据： CAN总线连接着各种传感器，包括激光雷达、摄像头等。CAN报文数据中包含这些传感器的实时输出，为感知和环境理解提供了重要数据。CAN报文解析工具，将原始的CAN帧数据解析为可读取的格式，包括标识符解析、数据域解析等。

OBD接口数据： OBD是车辆上的标准接口，提供了一种访问车辆电子控制单元（ECU）数据的方式。OBD接口通常通过标准的OBD-II协议提供数据.提取工具通过与DSSAD连接的OBD接口实现DSSAD数据的提取和指令交互。利用OBD解析，将原始的OBD数据解析为易读的格式，包括数值、文本等形式。

2. 数据存储与管理：

大数据技术： 行车数据庞大而复杂，研究者借鉴大数据技术，包括分布式存储和处理，以有效地存储和管理这些数据。

云计算： 将行车数据存储和处理移到云端，有助于提高可扩展性和灵活性。一些研究关注在云端实现实时数据分析和决策的方法。

3. 数据分析与挖掘：

机器学习应用： 利用机器学习算法对行车数据进行分析，以预测交通流、改善驾驶行为，或识别异常情况。深度学习在图像和传感器数据处理中的应用也逐渐增多。

模式识别： 研究者致力于开发模式识别技术，以识别特定的驾驶模式、交通模式或异常行为。这有助于提高交通管理的智能性。

4. 安全与隐私保护：

数据安全性： 行车数据的安全性至关重要，防止恶意攻击和未经授权的访问。研究者研究加密技术和安全协议，以确保数据的机密性和完整性。

隐私保护： 考虑到行车数据可能包含个人隐私信息，研究者探讨了各种方法，如匿名化和去标识化技术，以保护用户隐私。

5. 应用领域：

自动驾驶优化： 行车数据的提取与分析对于自动驾驶系统的优化至关重要。研究者关注如何通过分析实际驾驶数据改善自动驾驶算法和决策系统。

交通管理与规划： 行车数据的实时分析可用于优化交通流、改善道路规划，减少交通拥堵和提高道路安全性。

以上只是行车数据记录提取与分析工具研究现状的一小部分，这个领域在不断演进，面临着多领域交叉和技术创新的挑战。

2.3 研究领域的挑战和问题

在行车数据记录提取与分析工具的研究领域中，存在一些挑战和问题，这些问题涵盖了技术、法规、隐私等多个方面：

1. 数据质量和一致性：

传感器误差：传感器可能受到噪声、环境变化或故障的影响，导致数据的不准确性。提高数据质量和一致性是一个关键挑战。

多源数据融合：不同车辆和设备产生的数据可能存在差异，研究者需要解决多源数据融合的问题，以确保数据的一致性和可比性。

2. 大数据处理和存储：

数据量庞大：行车数据产生的速度很快，处理和存储大规模数据是一个挑战。有效的大数据处理技术和存储方案是必要的。

实时性需求：一些应用场景对实时性有较高的需求，需要处理海量数据并在短时间内做出决策。实现实时性处理是一个技术难题。

3. 安全和隐私问题：

数据安全性：行车数据可能包含敏感信息，如车辆位置、驾驶行为等。确保数据的安全性，防止数据被恶意攻击或滥用是一个重要问题。

隐私保护：如何在数据分析中保护驾驶者和乘客的隐私是一个伦理和法规方面的挑战。需要制定合适的隐私保护政策和技术手段。

4. 法规和标准化：

缺乏统一标准：在行车数据记录和分析领域，尚缺乏统一的数据格式、标准和接口，这使得数据共享和交互性受到限制。

法规不足：针对行车数据的法规框架还不够健全。缺乏明确的法规可能导致数据使用和共享存在不确定性。

5. 技术适应性与稳定性：

复杂环境下的适应性：在复杂的交通和道路条件下，自动驾驶车辆需要更强大的感知和决策能力。提取与分析工具需要适应多样化的道路和交通环境。

系统稳定性：保持提取与分析系统的稳定性，确保在各种条件下可靠运行，是一个关键的技术挑战。

6. 用户接受度和社会影响：

用户信任与接受度：自动驾驶技术需要得到驾驶者和社会的信任和接受。了解用户的需求和担忧，并制定相应的策略是一个社会性的问题。

社会影响和道德问题：自动驾驶技术的广泛应用可能对就业、交通规划和城市设计产生深远影响，需要综合考虑社会、经济和道德因素。

解决这些挑战和问题需要研究者、政府、行业和社会共同努力，形成全面的解决方案。

第三章：数据提取工具设计和实现

3.1 数据提取工具设计

3.1.1 数据提取流程

DSSAD数据提取分析工具通过OBD端口与DSSAD建立连接，基于DOIP协议提取并解

析DSSAD系统存储的数据元素，在不同测试场景下对DSSAD数据进行测试验证。

提取工具数据提取流程图

3.1.2 提取工具系统架构

DSSAD数据提取工具系统架构图

3.2 数据提取工具设计

3.2.1 数据提取设计

1、DSSAD网络参数

选择DSSAD设备：选择测试管理平台已添加的DSSAD设备；

MAC地址：DSSAD设备MAC地址；

IP地址：DSSAD设备IP地址；

端口号：DSSAD设备端口号13400；

逻辑地址：DSSAD设备逻辑地址。

2、数据提取解析工具网络参数

MAC地址：数据提取解析工具设备MAC地址；

IP地址：数据提取解析工具设备IP地址；

端口号：数据提取解析工具设备端口号13400；

逻辑地址：数据提取解析工具设备逻辑地址。

3、业务逻辑

外部数据提取设备在提取数据之前应先读取车辆的车载诊断系统（OBD）网络通讯参数，并设置外部设备网口，确保数据提取设备和车辆的网络连接正常。

a. 读取网络通讯参数：该条指令采用DoCAN通讯，采用ISO 14229-1：2020中11.2节定义的2216“通过标识符读取数据服务”。若返回值无效或返回负响应，外部数据读取设备应终止流程。

UDS请求指令：2216 FA16 2016

UDS返回指令：6216 FA16 2016 XX16 … XX16

b. 设置读取设备通讯参数：该步骤是根据a）步骤中读取到的车辆OBD网络通讯参数，设置数据提取设备网口参数，保证数据提取设备到车辆的网络连接正常。

3.2.2 数据提取实现

1、数据接收和交互的实现

#include <unistd.h>

#include <arpa/inet.h>

#include <sys/socket.h>

#define SERVER_IP "192.168.1.10" // 服务器IP地址

#define SERVER_PORT 13400 // 服务器端口号

void print_char_arr(unsigned char arr[], int nCount){

int i;

for (i = 0; i < nCount; i++)printf("%02X ",arr[i]);

printf("\n");

}

int main() {

int sockfd;

struct sockaddr_in server_addr;

unsigned char buffer[1024];

int str_len;

if ((sockfd = socket(AF_INET, SOCK_STREAM, 0)) == -1) {

perror("socket创建失败");

exit(EXIT_FAILURE);

}

memset(&server_addr, 0, sizeof(server_addr));

server_addr.sin_family = AF_INET;

server_addr.sin_port = htons(SERVER_PORT);

if (inet_aton(SERVER_IP, &server_addr.sin_addr) == 0) {

perror("服务器地址无效");

exit(EXIT_FAILURE);

}

if (connect(sockfd, (struct sockaddr*)&server_addr, sizeof(server_addr)) == -1) {

perror("连接服务器失败");

exit(EXIT_FAILURE);

}

buffer[0] = 0x10;

buffer[1] = 0x03;

if (send(sockfd, buffer, 2, 0) == -1) {

perror("发送消息失败");

exit(EXIT_FAILURE);

}

if ((str_len = recv(sockfd, buffer, 1024, 0)) <= 0) {

perror("接收服务器响应失败");

exit(EXIT_FAILURE);

}

print_char_arr(buffer,str_len);

buffer[0] = 0x27;

buffer[1] = 0x01;

if (send(sockfd, buffer, 2, 0) == -1) {

perror("发送消息失败");

exit(EXIT_FAILURE);

}

if ((str_len = recv(sockfd, buffer, 1024, 0)) <= 0) {

perror("接收服务器响应失败");

exit(EXIT_FAILURE);

}

print_char_arr(buffer,str_len);

int i;

buffer[0] = 0x27;

buffer[1] = 0x02;

for(i = 2; i < 10; i++)buffer[i] = 0xAA;

if (send(sockfd, buffer, 10, 0) == -1) {

perror("发送消息失败");

exit(EXIT_FAILURE);

}

if ((str_len = recv(sockfd, buffer, 1024, 0)) <= 0) {

perror("接收服务器响应失败");

exit(EXIT_FAILURE);

}

print_char_arr(buffer,str_len);

buffer[0] = 0x2E;

for(i = 1; i < 4; i++)buffer[i] = 0xBB;

if (send(sockfd, buffer, 4, 0) == -1) {

perror("发送消息失败");

exit(EXIT_FAILURE);

}

if ((str_len = recv(sockfd, buffer, 1024, 0)) <= 0) {

perror("接收服务器响应失败");

exit(EXIT_FAILURE);

}

print_char_arr(buffer,str_len);

buffer[0] = 0x10;

buffer[1] = 0x01;

if (send(sockfd, buffer, 2, 0) == -1) {

perror("发送消息失败");

exit(EXIT_FAILURE);

}

if ((str_len = recv(sockfd, buffer, 1024, 0)) <= 0) {

perror("接收服务器响应失败");

exit(EXIT_FAILURE);

}

... ...

close(sockfd);

return 0;

}

3.2.2 生成数据文件格式

2023/8/27 20:30	3	10	IFC_1	DecelerationRequest	-10.21
2023/8/27 20:30	3	13	IFC_1	TorqueRequest_ACC	63.75
2023/8/27 20:30	1	5	IFC_4	TakeOverTip_LCA	0
2023/8/27 20:30	2	2	ESC_3	Acceleration_Y	33.5290642
2023/8/27 20:30	2	3	ESC_3	Acceleration_X	-21.5930004
2023/8/27 20:30	2	4	ESC_3	YawRate	103.2

数据报文格式样式表

3.2.3 生成交互日志格式

62 D1 02 01

62 D1 02 02

62 FA 20

78 04 2F 76 61 72 2F 6C 6F 67 2F 47 42 2D 31 38 33 38 34 2D 32 30 32 30 2F 47 42 58 58 58 58 5F 56 49 4E 5F 41 44 52

76 01 62 5F 00 00

file length 24418

recv length=1024

71 01 FA 21 1E DD 7C C1

return code 0

交互日志成功返回信息return code 0。

针对指令交互返回定义了如下返回结果：

返回值0为正常，

错误码如下：

#define NET_SEND_ERROR (-1)

#define NET_RECV_ERROR (-2)

#define NET_UNSUPPORTED_CMD (-3)

#define NET_PROTOCOL_ERROR (-4)

#define NET_PEER_ERROR (-5)

#define NET_INTERNAL_ERROR (-6)

#define NET_FILE_ZERO (-7)

3.2.4 提取工具与测试平台交互设计

提取工具与测试平台连接我们设计实现了数据同步、安全验证、OBD连接测试、测试任务下发、测试结果上传等接口，实现提取工具和测试平台的交互，确保指令下发和测试结果上传的实现。

指令实现如下所示：实现测试任务下发

测试平台服务发送序列开始操作，根据接收方的用户标识（mac地址/提取工具）发送ws消息

[response]

{

"commandCode": "CMD001", //命令编号，CMD001：序列测试开始

"msgType": 2, //0:用户发起的请求|1:系统下达的命令|2:系统响应用户的请求

"ip":"192.168.0.1", //设备ip

"port":"7777", //设备端口

"deviceCode":"111", //设备编码

"from": "eyJhbGciOiJIUzUxMiJ9.eyJ1c2VyX2lkIjoxLCJ1c2VyX2tleSI6ImQyMGZmZWVhLTdiMjEtNDE4MC04NjM5LWVhZjMyOTAyOTUwYyIsInR5cGUiOiJtYW5hZ2VyIiwidXNlcm5hbWUiOiJuaGJvb3QifQ.LpWtHXZwIQve2mzTQ_VppaKg30SXNaJozs5Zs7mPmxb1ueDw_ZY7MCeSkwlzAr-ZYdz9mM-JpO0ta3YfL7Wpfw", //发送者

"to": "3c:06:30:35:67:4e", //接收者

"content": "{\"testPlanId\":36,\"scriptSeqIds\":\"9,1\"}", //json字符串 scriptSeqIds：序列id,多个序列用逗号拼接 testPlanId：任务id

"createdAt": "2023-08-25 00:53:12 811" //创建时间

}

测试平台发送序列结束操作，根据接收方的用户标识（mac地址/提取工具）发送ws消息

[response]

{

"commandCode": "CMD002", //命令编号，CMD002：序列测试结束

"msgType": 2, //0:用户发起的请求|1:系统下达的命令|2:系统响应用户的请求

"ip":"192.168.0.1", //设备ip

"port":"7777", //设备端口

"deviceCode":"111", //设备编码

"to": "3c:06:30:35:67:4e", //接收者

"content": "{\"testPlanId\":36}", //json字符串 testPlanId：任务id

"createdAt": "2023-08-25 00:53:12 811" //创建时间

}

第四章：数据分析结果呈现

4.1 数据文件

1、指令序列文件

命名规则应用TC+1-01-001.txt格式，具体内容如下：

10 03

27 01

27 02 AB BC

2E D1 01 FF

10 01

22 D1 01

22 FA 20

10 03

38 04 "/var/log/GB-18384-2020/GBXXXX_VIN_ADR"

36 01

31 01 FA 21

10 01

提取数据文件

命名规则应用36_1_1695767523.6881988.csv格式，具体内容如下：

2023-09-27 07:36:29.020227,5,4,EMS_2,AccelerationPedalPosition,101.60

3、提取交互日志

命名规则应用1695795498904_2_1695794644.8205416_log.csv格式，具体内容如下：

62 D1 02 02

62 FA 20

78 04 2F 76 61 72 2F 6C 6F 67 2F 47 42 2D 31 38 33 38 34 2D 32 30 32 30 2F 47 42 58 58 58 58 5F 56 49 4E 5F 41 44 52

76 01 97 5F 00 00

file length 24471

recv length=1024

... ...

recv length=1024

71 01 FA 21 F0 F4 E1 B7

return code 0

4.2 关键指标

1、安全认证

OBD通讯采用安全认证机制：

进入扩展会话请求指令10 03,DSSAD发送正响应，进入诊断拓展会议层，DSSAD反馈 50 03 00 32 01 F4；.安全访问请求种子，请求指令27 01，DSSAD发送正响应，反馈seed，DSSAD反馈 67 01 %4（seed）；安全访问发送密钥，请求指令27 02 %8（key）；DSSAD发送正响应，进入安全访问，DSSAD反馈 67 02。

数据传输采用国密加密算法，实现工具和平台之间数据安全。

密钥形式如下：

"publicKey":"0431111118d74b0018160d7222b9a6b8c7670fb7a4cc6f830482c6fd448ddfbcec5998f3866e10922a1c044997573e76451a24b2795fea6d821d930ad034fae6c4","vsersion":"BOR"

2、指令序列

实现所有测试序列脚本指令的支持，并提供可扩展性的方法。

3、完整性校验

数据文件传输过程完整性校验采用CRC32进行数据校验。

4、交互指令

自定义提取工具与测试平台之间的交互指令集，实现了数据上传、序列数据更新、指令下达、暂停、停止等交互功能。