一、安装环境
gym是用于开发和比较强化学习算法的工具包,在python中安装gym库和其中子场景都较为简便。
安装gym:
pip install gym
安装自动驾驶模块,这里使用Edouard Leurent发布在github上的包highway-env(链接:https://github.com/eleurent/highway-env):
pip install --user git+https://github.com/eleurent/highway-env
其中包含6个场景:
-
高速公路——“highway-v0”
-
汇入——“merge-v0”
-
环岛——“roundabout-v0”
-
泊车——“parking-v0”
-
十字路口——“intersection-v0”
-
赛车道——“racetrack-v0”
详细文档可以参考这里:
https://highway-env.readthedocs.io/en/latest/
二、配置环境
安装好后即可在代码中进行实验(以高速公路场景为例):
import gym
import highway_env
%matplotlib inline
env = gym.make('highway-v0')
env.reset()
for _ in range(3):
action = env.action_type.actions_indexes["IDLE"]
obs, reward, done, info = env.step(action)
env.render()
运行后会在模拟器中生成如下场景:
绿色为ego vehicle env类有很多参数可以配置,具体可以参考原文档。
三、训练模型
1、数据处理
(1)state
highway-env包中没有定义传感器,车辆所有的state (observations) 都从底层代码读取,节省了许多前期的工作量。根据文档介绍,state (ovservations) 有三种输出方式:Kinematics,Grayscale Image和Occupancy grid。
Kinematics
输出V*F的矩阵,V代表需要观测的车辆数量(包括ego vehicle本身),F代表需要统计的特征数量。例:
数据生成时会默认归一化,取值范围:[100, 100, 20, 20],也可以设置ego vehicle以外的车辆属性是地图的绝对坐标还是对ego vehicle的相对坐标。
在定义环境时需要对特征的参数进行设定:
config = \
{
"observation":
{
"type": "Kinematics",
#选取5辆车进行观察(包括ego vehicle)
"vehicles_count": 5,
#共7个特征
"features": ["presence", "