### Web导航
▪ 讨论通用的Web导航和浏览器自动化的实际应用。
▪ 探索如何通过RL方法解决Web导航问题。
▪ 深入研究由OpenAI实现的一个非常有趣但常被忽略且被抛弃的RL基准,称为比特迷你世界(Mini World of Bits,MiniWoB)。
RL浏览器自动化的潜在实际应用很有吸引力,但有一个非常严重的缺点:这类任务复杂度太高,无法用于研究和方法比较。实际上,实现完整的网页抓取系统可能需要团队花费数月的时间,并且大多数问题不会与RL直接相关,例如数据收集、浏览器引擎通信、输入和输出表示以及很多真实生产系统开发涉及的其他问题。
最重要的参数如下:
▪ remotes:可以是数字或字符串。如果将其指定为数字,则它将给出环境需要启动的本地容器的数量。如果是字符串,此参数可以以vnc://host1:port1+port2, host2:port1+port2的形式指定环境需要连接的已运行容器的URL。第一个端口是VNC协议端口(默认为5900)。第二个端口是奖励器守护进程的端口(默认为15900)。可以在Docker容器启动时重新指定这两个端口。
▪ fps:用于提供智能体观察的预期每秒帧数(FPS)。
▪ vnc_kwargs:该参数必须是一个字典,带有额外的VNC协议参数,用于定义压缩级别和要传输给智能体的图像的质量。这些参数对于性能来说非常重要,尤其是对于在云中运行的容器而言。
**docker参数的含义如下:**
1)-d在分离模式下启动容器。为了能够查看容器的日志,可以将此选项替换为-t。在这种情况下,容器将以交互方式启动,并可以按Ctrl &#