从零开始学习自动驾驶端到端深度强化/模仿学习实战项目

从零开始学习自动驾驶决策端到端深度强化学习实战项目

本课程是为了帮助大家快速入门强化学习和学会应用深度强化学习进行算法的开发。
鉴于网上有许多开源的强化学习理论基础的视频，而且许多项目都是基于gym游戏进行开发的简单项目，并未涉及使用前沿的carla环境等自动驾驶仿真环境进行强化学习开发与讲解，所以本课程着重从模态化的单智能体和多智能体的深度强化学习入手，以实战项目为驱动进行学习，并设立有学习交流社区群，购买后即可加入，一起探讨科研问题。注意单智能体和多智能体是两个套餐，独立的，不是一起购买的社区。需要学习什么方向自行决定了解。

先说一下，下单前可以尽情了解清楚是否适合自己（包括能否跑carla，具体的效果，想学习的内容，学习目的等等），仔细看博客的介绍和交流清楚问题。下单后不给予退款处理！！！，如果下单进群后还想以自己不适合用等借口要求退款的，请滚开不要浪费各自的时间。社区群是用来学习交流的，不是来和那些奇葩拉扯的。

与其他项目相比，加入社区的6大优势：

1.结合作者们丰富的实战经验，帮助小白快速入门自动驾驶DRL实战，而不是只停留在强化学习基础理论（理论视频很多，但是缺乏具体场景的carla仿真软件实战应用）。
2.可拓展性，比如本项目可以自行扩展到多个模态，可以在拓展方面给学生提供一定帮助。
3.会不断完善项目，不定期与学员交流，让小白学会看bug改bug，快速提供实战经验。
4.很多付费课程只有一年期限，本学习社区无期限，直到学员不再接触此行业。
5.代码可读性较强，好移植，节省大量代码开发时间。
6.有配套的详细文档，协助更好地入门。

硬件需求:
单智能体，因为涉及多个版本的carla，最高版本是0.9.13，所以一般跑0.9.13不卡就行。我跑过的最低的电脑配置为：
显卡：GTX 1050 Ti
内存：8.00 GB
当然，越高级越无敌。
我想说的是，win跑Carla的训练可能卡退现象，除非配置真的很好，所以我一般都是在服务器跑完训练传到win本地跑一下测试可视化效果，介意这一点的可以不购买。

多智能体：没有测试过很差的电脑配置，在RTX-4090测试过，主要是训练数据集使用。

购买须知:
1.ubuntu版本没有要求，只要能跑conda环境就行，carla版本最好用0.9.8，因为高版本更吃显卡，0.9.8可以满足基本场景搭建需求了。
2.carla可以多版本存在，内存够用就行，不用很死板地认为一个系统只能用一个carla，不知道怎么多版本存在可以学一下。
3.关于工程涉及的场景，目前是定义起点到终点的跟踪RL决策，可以加其他车辆行人，训练过90度弯道和直道，具体可以看b站效果视频。但是注意任何算法都不是万能的，起点和终点不能太远，不然很难训练。另外，已经设置了鬼探头场景，随机车辆行人场景，跟车场景。自动驾驶场景太多了，不可能给大家全部列出来满足所有人需求，但是基本框架搭建了，大家可以自行搭建自己的场景进行训练。
4.奖励函数可以灵活修改，很多参数都可以调参，代码都是灵活的，不是所有东西都是满足开箱即用。
5.目前比较完善的是dqn和ppo算法，sac也还可以（包括deepmdp），另外ddpg加了但还没空测试效果，没那么快。
6.视频讲解主要是对学生疑惑的代码逻辑点进行讲解，原理网上太多好教程不想重复。凡是有代码不理解的，都可以交流。视频讲解会不断完善更新，一开始看不懂先别急，先跟着readme搭环境跑起来代码先。
7.不管是多智能体和单智能体，都是在开源代码上修改和指导大家跑通的。每个人具体的需求想法不一样，但是，实战学习，必须学习前人的经验代码，然后在基础上再去改为自己的想法代码，而不是一来就凭空想着如何实现自己的想法。
8.这边不是系统课程，而是围绕工程代码进行实战，有比较详细的文档，有学习交流群。不是强化学习的系统课程！如果代码有疑问都可以答疑。
9.模仿学习的话没有提供工程，但是博主对carla leaderboard框架比较熟悉，也可以交流学习。
10.有些指标我们可能没写，比如转角变化率等等，所以这个只能学员自己学习使用carla，然后自己加，加到tensorboard上去显示即可。
11.python代码不难看懂，要静下心来学习。
12.那些需求是跑多种RL算法的，这个实战项目不能开箱即用，因为不同算法目前包括在了不同工程，详细的工程介绍在：
单智能体carla强化学习实战工程介绍
所以不同工程要保证同一个场景可能有难度，因为代码框架有差别。有这方面需求的同学，得自己把握一下，可以自己去移植。当然后面我会考虑把算法都移植在一个工程，只是更新会比较慢。

期望：
1.集思广益，为大家提供一个科研和工程的学习交流平台。
2.如果需要一对一全程答疑完成毕设或投稿，需要另外谈价。
3.自主开发的工程具备计算机软件著作权和代码版权，禁止转让和倒卖。

下单后，进群学习+项目代码+代码答疑+科研交流+相互进步（如果是毕设需求一对一指导，需要二次付费）。目前套餐分为单智能体和多智能体，具体的内容如下：

单智能体Carla端到端RL实战应用与科研探讨套餐内容如下：

理论方面的学习交流（网上资料好的很多，不会进行理论录制视频），一般要学习到的基本知识包括：
1.贝尔曼方程和动态规划
2.蒙特卡洛
3.TD误差
4.GAE优势函数
5.基于值函数和基于策略的学习方法的概念和区别
6.on-policy和off-policy

算法方面的学习交流（网上资料好的很多，不会进行理论录制视频），一般要学习到的基本算法包括：
1.DQN
2.AC
3.PPO
4.PG和DDPG
5.SAC

项目代码的学习-本套餐的主要交流点，实战代码和经验分享讲解：
以上各种RL算法在carla上的实战 （有代码框架，视频还没出，但是已经出了部分代码讲解视频，和一些答疑视频）
工程是基于Carla的强化学习端到端实战，目前包括的算法实战有：
dqn
ppo
sac
ddpg(写了还没空测试)

注意：单智能体内容相对多智能体简单一些，也偏向于代码实战经验，与网上开源的代码是会有差别的，会指导如何添加自己的场景等。DRL算法涉及的新算法，比如Diffusion Policy等等，这些都可以交流到。
加入单智能体社区，你将学习到：
1.RL算法在Carla上的各种场景的应用。
2.在已经搭建好的工程上，进行创新，比如加入大模型等外在特征，在视觉编码器使用vit，加模态的RL学习等等操作，去优化一个RL算法，而不是开发一个新的RL算法，这样也可以发paper。

多智能体端到端实战应用与科研探讨套餐内容如下：

一、多智能体强化学习理论和基础算法
3.1 Multi-agent Reinforcement Learning
3.2 Game Theory and Nash Equilibrium
3.3 Value Decomposition
3.4 QMIX, QTRAN 
3.5 Multi-agent Autonomous Driving

二．协作感知与自动驾驶（不涉及rl，是感知相关的，也是多智能体的科研方向）
2.1  协作感知的概念和原理（待更新）
2.2  Vehicle-to-Everything技术
   2.2.1 车路协同
   2.2.2 车车协同
2.3  感知融合
   2.3.1  激光点云融合
   2.3.2  视觉感知融合
   2.3.3  选择通信（待更新）
   2.3.4  多模态融合（待更新）
2.4  协作式端到端自动驾驶

三．项目实战
3.1 基于MARL的交通控制
3.2 协作感知数据集与框架（不涉及rl的多智能体感知算法）
   3.2.1 DAIR-V2X
   3.2.2 OpenCOOD框架
3.3 协作感知应用示例（待更新）
   3.3.1 协作目标检测实战与实验
   3.3.2 协作式端到端自动驾驶实战和实验

当然了，以上列表只是参考，会不断更新完善。单智能体和多智能体二选一，不是一起的，希望大家可以尽早学习加入，敬请期待。