观林望实的博客

Reinforcement Learning based Control of Imitative Policies for Near-Accident Driving（点击可见原文）论文要解决的问题道路安全相关的高危场景中，根据场景中的细微变化，可能需要动作准则发生较大的改变。快速的动作准则的变更可能需要另一个准则来对其进行处理。因此，设置两种不同的驾驶模式(不同的驾驶模式体现对于效率和安全性的不同权衡)，将模式之间的转移作为优化的目标，由RL学习；模式内的具体行车动作由IL学习。.

Eco-Vehicular Edge Networks for Connected Transportation: A Distributed Multi-Agent Reinforcement Learning Approach（点击可见原文）论文要解决的问题用户中心式的虚拟小区 (VC, virtual cell) 中，考虑V2I通信，在保证可靠性、数据速率、用户公平性的前提下，通过资源分配最大化能效 (EE, energy-efficient) 。使用分布式多主体强化学习加以解决。.

序：这是一篇来自IEEE Network的期刊论文(影响力8.808)，18年11月发表，到20年7月已经被引了45次。摘要因为网络流量特征难以描述为适用于学习类算法的输入和输出数据集，因此将DL应用于网络流量控制目前仍不成熟。在UDN中，高流量需求、波束成形和MIMO技术的兴起都使得网络流量变的更加多变和复杂。因此对于5G网络运营商而言，以有效的方式进行无线电资源控制而不是采用传统的F/TDD使非常重要的。这是因为在基于波束成形和MIMO的UDN中，使用现存的动态TDD方法进行上行/下行链路配

摘要本文综述了深度强化学习（DRL）在通信和网络中的应用。现代网络中的实体需要在网络环境不确定的情况下在本地进行决策，以使网络性能最大化。强化学习被有效地用于使网络实体在状态空间和行为空间较小的情况下，获得动作的最优选择。然而，在复杂的大规模网络中，状态空间和动作空间往往很大，强化学习可能无法在合理的时间内找到最优策略。因此，发展强化学习与深度学习相结合的DRL来克服这一不足。在本次调查中，我们首先提供了从基本概念到高级模型的DRL教程。然后，我们回顾了为解决通信和网络中的新问题而提出的DRL方法。这些

目前大部分工作将网络、缓存、计算分立研究并优化，但本文将这三者进行联合优化，提出一个集成的动态管理架构。本文将此框架中的资源分配策略指定为一个联合优化问题，其综合考虑了网络、缓存、和计算的效用。对于系统的复杂性使用DRL的方法加以解决。结论及未来工作本文将网络、缓存、计算资源联合优化以提高车辆网络性能。基于SDN的可编程控制原理和ICN的缓存原理，我们提出一个集成的网络、缓存、计算资源的动态编排框架。通过深度强化学习方法加以解决，并给出了不同场景下算法的收敛性。未来将在该框架下考虑能效的提升。介

未来的汽车将具备更加丰富的资源来支持自动驾驶的应用，而无线通信技术将被用来建立连接。因此，车辆雾网（VeFNs）被提出，其通过任务卸载的方式实现计算资源的共享，并提供了广泛的雾应用。然而车辆的高机动性让任务卸载既要考虑通信又要考虑计算时延的需求。本文中首先回顾了VeFN中任务卸载的现状，然后讨论了移动性作为实时性计算的障碍外，还有提升延迟的可能。其次，我们将通过ML方法和编码计算作为解决何利用VeFN中高移动性的关键技术，通过实例研究展示了如何利用移动新来优化系统性能。结论本文首先通过最新的文献综述

概要CODE;D

D2D通信技术是3GPP R14中对于V2X的主要推动技术。在这种情况下，UE既可以直接与基础设施通信也可以通过中介节点连接基础设施，UE还可以直接与设备进行通讯，无论基础设施支持与否。由于车辆的快速移动，蜂窝UE与车载UE对服务质量的要求不同，而资源分配就是根据不同的QoS为UE分配合适的资源。本文介绍了共享上行资源的用户的UE的三种类型：两种车辆UE和手持移动电话类型的UE。根据三种类型UE的...

车辆的高机动性给车辆网络中高效可靠的通信带来挑战，其中的关键是如何实时处理大量的信道反馈信息以及如何更好地进行资源分配。本文提出一种利用轨迹数据的资源分配方法，其特点为减少CSI信息的反馈量并使V2VI协同工作。使用DNN和轨迹数据对V2V/I的模式进行训练。结论通过V2VI的智能切换和带宽分配，有效提升了车辆网络性能。与现有工作不同，每辆车的通信方式可以由BS自适应的调整。通过对车...

No. 题目 时间 关键字 1 Enhancements of V2X Communication in Support of Cooperative Autonomous Driving 20-03-06 自动驾驶 V2X标准 2 Vehicle-to-Everything (v2x) Services Suppo...

本文的研究目标是车在网络中的频谱资源分配问题，具体来讲是如何实现多个V2V链路重用V2I链路的频谱。车载链路中环境的快速变化使传统的在基站处收集CSI信息以进行集中式资源管理成为难题，而本方法将资源共享建模为多主体强化学习问题，并使用适合于分布式实现的基于指纹的深度Q网络实现。V2V链路通过与环境交互更新Q网络进而改善频谱和功率分配。经过验证此方法可以以分布式的方式同时提高V2I链路容量和V2V链...

前言本文是使用机器学习方法解决车联网问题系列的第二弹blog，看题目感觉会提出一种结合机器学习的车联网的新架构，比起上一篇综述，这篇文章看起来干货满满（但是页数也比较长…），注意笔记的写作逻辑并尽量压缩字数吧！话不多说现在开始！本文首先整理了高移动性的车载网络的特征并列举了使用机器学习解决车载网络的挑战的动机。其次讨论了将机器学习用于学习车载网络的动态特性...

前言感谢李师兄推荐Le Liang这位作者，通过查找可以看到他所著的许多将机器学习和通信结合起来的文章，从这篇博文开始的几篇博文内容将更偏向通信与机器学习的交叉，论文的阅读顺序根据引用次数 年份 标题暂时安排如下：2018_用于车联网的机器学习方法：进展和用例；2019_面向智能车联网：一个机器学习框架；2018_基于图论的车联网通信资源分享方法。此外以后博客的内容大致按照：”需求--技术...

5G网络具备：1.高数据速率；2.大用户密度；3.超高可靠性；4.低延迟等特点，其中低延迟是在自动驾驶领域尤其关注的一点。本文提出一种超密集5G车载网络的架构，它采用用户中心式接入，并通过运动信息进行辅助接入。具体来讲，使用LAACS（分布式本地接入和应用中心）来将应用程序的执行和集中式接入控制共同执行。在这个过程中，在网络资源的动态管理中利用来自应用层的车辆运动信息，以便持续的保持车辆和为其服务...

超可靠低延迟的车对基础设施（V2I）通信是未来智慧城市中无人驾驶汽车（AV）的关键要求。 为此，具有边缘计算功能的蜂窝小型基站（SBS）可以通过本地处理来自AV的任务请求来减少端到端（E2E）服务延迟，无需将任务转发到远程云服务器。 但是，由于SBS的计算能力有限，再加上无线带宽资源的稀缺性，最大程度地减小AV的E2E延迟并实现可靠的V2I网络是一项挑战。在本文中，提出了一种新算法来联合优化AV与...

目前的LTE系统在物理层的错误率低，但延迟高大数十到几百ms，这是因为收发双方处理延迟大、重传次数多 例如，LTE的默认设置是10 –1（10％）的首次传输块错误率（BLER）目标，并允许在考虑3次HARQ重传时实现10 –5的可靠性目标。 HARQ合并增益。URLLC应用程序的主要挑战是将延迟降低到1 ms，同时提供类似级别的可靠性。 图1示出了在建立链路时用于执行下行链路数据传输的...

前言本文是我所作的第四篇论文笔记，前三篇都是按照“翻译--笔记”的模式进行，本篇将跳过翻译环节直接进行论文的笔记摘录。原因有以下几点：1.翻译步骤对内容理解很有限，理解主要在笔记环节完成；2.虽然翻译在整个环节中用时不多（差不多1/4-1/3），但目前追求更高的效率；3.目前的想法是与其对一篇文章消化75%，不如对多篇文章消化50%，因此将效率摆在了更高的位置；4.尽力时不时对自己的学习方法所...

自动驾驶汽车间通过共享感知信息完成对驾驶环境的感知，而所谓“共享”是通过“通信”来实现的，目前最先进的5G网络具备：1.高数据速率；2.大用户密度；3.超高可靠性；4.低延迟等特点，其中低延迟是在自动驾驶领域尤其关注的一点。本文提出一种超密集5G车载网络的架构，它采用用户中心式访问，并通过运动信息进行辅助访问。具体来讲，使用LAACS（分布式本地访问和应用中心）来将应用程序的执行和集中式访问控...

前言：这是一篇关于V2X的文章，里面主要对通信的标准演进进行了说明，牵扯较多的通信名词和知识，我在看的时候是一头雾水，因此本博客整理文章的内容外还将对一些通信知识进行补足。本人背景：某高校研一学生，通信专业，对V2X背景有一定了解（因此对其基础不再赘述），对相关通信知识不甚了解（此部分将细致整理）。受益于LTE系统的普及，3GPP正逐步推进基于LTE的V2X的标准，中国的LTE V2...

自动驾驶有两个关键特征：感知和操控（maneuvering）。若想更好的增强这两个功能，将V2X通信技术融入到汽车中比单独从汽车上下功夫会产生更好的效果。本文发布时所普遍使用的第一代V2X是以“为驾驶员提供预警信息”为出发点，并未具备自动驾驶场景所需要的一些功能，要实现后者，势必要对其进行改进。这篇文章完成了以下工作：介绍自动驾驶研究的技术背景（2015时间点） 介绍了自动驾驶的使用场景（案...