深度学习学习笔记-论文研读2-车联网边缘计算环境下基于深度强化学习的分布式服务卸载方法

本人学识浅薄，如有理解不到位的地方还请大佬们指出，相互学习，共同进步

概念引入

强化学习

A3C算法(深度强化学习算法的一种)

马尔可夫决策过程

深度残差网络

边缘计算
边缘计算，是指在靠近物或数据源头的一侧，采用网络、计算、存储、应用核心能力为一体的开放平台，就近提供最近端服务。其应用程序在边缘侧发起，产生更快的网络服务响应，满足行业在实时业务、应用智能、安全与隐私保护等方面的基本需求。边缘计算处于物理实体和工业连接之间，或处于物理实体的顶端。而云端计算，仍然可以访问边缘计算的历史数据。

车联网
车联网的内涵主要指：车辆上的车载设备通过无线通信技术，对信息网络平台中的所有车辆动态信息进行有效利用，在车辆运行中提供不同的功能服务。可以发现，车联网表现出以下几点特征：车联网能够为车与车之间的间距提供保障，降低车辆发生碰撞事故的几率；车联网可以帮助车主实时导航，并通过与其它车辆和网络系统的通信，提高交通运行的效率。

车联网的概念源于物联网，即车辆物联网，是以行驶中的车辆为信息感知对象，借助新一代信息通信技术，实现车与X（即车与车、人、路、服务平台）之间的网络连接，提升车辆整体的智能驾驶水平，为用户提供安全、舒适、智能、高效的驾驶感受与交通服务，同时提高交通运行效率，提升社会交通服务的智能化水平。
车联网通过新一代信息通信技术，实现车与云平台、车与车、车与路、车与人、车内等全方位网络链接，主要实现了“三网融合”，即将车内网、车际网和车载移动互联网进行融合。 [10] 车联网是利用传感技术感知车辆的状态信息，并借助无线通信网络与现代智能信息处理技术实现交通的智能化管理，以及交通信息服务的智能决策和车辆的智能化控制。
1、车与云平台间的通信是指车辆通过卫星无线通信或移动蜂窝等无线通信技术实现与车联网服务平台的信息传输，接受平台下达的控制指令，实时共享车辆数据。
2、车与车间的通信是指车辆与车辆之间实现信息交流与信息共享，包括车辆位置、行驶速度等车辆状态信息，可用于判断道路车流状况。
3、车与路间的通信是指借助地面道路固定通信设施实现车辆与道路间的信息交流，用于监测道路路面状况，引导车辆选择最佳行驶路径。
4、车与人间的通信是指用户可以通过Wi-Fi、蓝牙、蜂窝等无线通信手段与车辆进行信息沟通，使用户能通过对应的移动终端设备监测并控制车辆。
5、车内设备间的通信是指车辆内部各设备间的信息数据传输，用于对设备状态的实时检测与运行控制，建立数字化的车内控制系统。

构成
1、车辆和车载系统。
车辆和车载系统是参与交通的每一辆汽车和车上的各种设备，通过这些传感器设备，车辆不仅可以实时地了解自己的位置、朝向、行驶距离、速度和加速度等车辆信息，还可以通过各种环境传感器感知外界环境的信息，包括温度、湿度、光线、距离等，不仅方便驾驶员及时了解车辆和信息，还可以对外界变化做出及时的反应。此外，这些传感器获取的信息还可以通过无线网络发送给周围的车辆、行人和道路，上传到车联网系统的云计算中心，加强了信息的共享能力。
2、车辆标识系统。
车辆上的若干标志标识和外界的标识识别设备构成了车辆标识系统，其中标志以RFID和图像识别系统为主。
3、路边设备系统。
路边设备系统会沿交通路网设置，一般会安装在交通热点地区、交叉路口或者高危险地区，通过采集通过特定地点的车流量，分析不同拥堵段的信息，给予交通参与者避免拥堵的若干建议。
4、信息通信网络系统。
有了若干信息之后，还需要信息通信系统对各种数据的传输，这是网络链路层的重要组成部分，车联网的通信系统以WIFI、移动网络、无线网络、蓝牙网络为主，车联网的大部分网络需求需要和网络运营商合作，以便和用户的手机随时连接。

体系结构

车联网技术是在交通基础设备日益完善和车辆管理难度不断加大的背景下被提出的，到目前为止仍处于初步的研究探索阶段，但经过多年的发展，当前已基本形成了一套比较稳定的车联网技术体系结构。在车联网体系结构中，主要由三大层次结构组成，按照其层次由高到低分别是应用层、网络层和采集层。
1、应用层
应用层是车联网的最高层次，可以为联网用户提供各种车辆服务业务，从当前最广泛就业的业务内容来看，主要就是由全球定位系统取得车辆的实时位置数据，然后返回给车联网控制中心服务器，经网络层的处理后进入用户的车辆终端设备，终端设备对定位数据进行相应的分析处理后，可以为用户提供各种导航、通信、监控、定位等应用服务。
2、网络层
网络层主要功能是提供透明的信息传输服务，即实现对输入输出的数据的汇总、分析、加工和传输，一般由网络服务器以及WEB服务组成。GPS定位信号及车载传感器信号上传到后台服务中心，由服务器对数据进行统计的管理，为每辆车提供相应的业务࿰