增强学习系列之（三）：实现一个打砖块的游戏

最新推荐文章于 2024-05-25 14:41:37 发布
最新推荐文章于 2024-05-25 14:41:37 发布
阅读量1.2w 收藏 40
点赞数 6
分类专栏： 机器学习 python 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/superCally/article/details/54784103
版权
增强学习 breakout 实现
摘要由CSDN通过智能技术生成

1.Acknowledgement

本篇文章中神经网络的结构主要来自于DeepMind的这篇论文
https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf

2. 实现效果

我们要实现的这个游戏，在openai的gym里面，叫做breakout，使用的是v3版本，初始化环境的时候需要声明一下

我们想要实现的效果，基本上是这样的
这里写图片描述

这里写图片描述

输入就是每一帧的图像，输出是当前应该采取的动作

一开始agent只会做随机的运动，在训练了一段时间之后，就可以精准的接住球了

3. 基本框架

基本框架这之前基本相同，都是采用Q-Learning算法

这里写图片描述

具体解释看这篇文章

http://blog.csdn.net/supercally/article/details/54767499

4. 与之前简单版本的区别

最大的区别有这几点：

1. 输入是原始的图像数据

输入是210 * 160 * 3的图像，我们稍作处理，把边上不需要的像素去掉之后降阶采样灰度化，将80 * 80 * 1的图像作为算法的输入

2. 用最近的四帧的序列作为输入

神经网络的输入不是单帧的图像，而是最近的连续四帧图像作为输入。这也很好理解，因为这样就加入了时间序列。对于打砖块这个游戏，如果只用一帧作输入的话，虽然砖块在同一个位置，但是可能是向好几个方向运动的，agent无法判断它的价值。

但是如果我们添加了最近几帧，agent就可以根据前后的时间判断出是向哪个方向运动的，这个状态就完整了

3. 卷积神经网络的结构

在用神经网络判断价值方面，与之前不同。之前简单的训练网络是用了一个隐层的网络来实现的，但是对于处理图像的任务，我们使用的是卷积神经网络

使用的网络的结构是这样的

这里写图片描述

卷积神经网络的大小这样计算

Sizeoutput=W−F
最低0.47元/天 解锁文章
杨思达zzz
关注
  • 6
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
基于pytorch的DQN（图像输入的CartPole）
u012329554的博客
05-29 2495
%matplotlib inline Reinforcement Learning (DQN) Tutorial Author: Adam Paszke <https://github.com/apaszke>_ This tutorial shows how to use PyTorch to train a Deep Q Learning (DQN) agent on the CartPole-v0 task from the OpenAI Gym <https://gym.open
dqn 打砖块 model Dueling 网络结构
阿豪
03-06 107
原文链接: dqn 打砖块 model Dueling 网络结构 ...
100行Python代码实现打砖块游戏，无需第三方依赖
ruzhila的博客
05-06 819
100行代码实现python版本的打砖块游戏，代码精炼，优雅，100行实战项目火热更新中
Python小游戏——打砖块
最新发布
Byyyi耀的博客
05-25 1896
Python小游戏——打砖块
打砖块breakout
11-06
类似于闯关模式的打砖块小游戏，消灭完砖块后，又会重新绘制砖块，并且缩短挡板长度及加快小球运动速度
强化学习-DQN-ATARI2600-打砖块
weixin_47895059的博客
10-14 1799
import torch import atari_py import pandas as pd import numpy as np import gym import time import PIL.Image as Image import torch.nn as nn class DQBReplayer: def __init__(self,capacity): self.memory = pd.DataFrame(index=range(capacity),column.
使用强化学习NatureDQN来玩打砖块
疯狂的鸡窝
01-21 2578
使用强化学习NatureDQN来玩打砖块目标第一版尝试打砖块的基础预处理图片预处理状态预处理网络设计第二版本尝试第三版本尝试代码目录： 目标 打砖块是gym游戏中相对复杂一些的游戏，不同于CartPole游戏，状态空间较少，基本上10分钟左右训练就可以玩到最高分，打砖块要训练非常长的时间，因此对于更进一步去理解和优化DQN非常有帮助。 第一版尝试 打砖块的基础 打砖块的reward设置是敲打到砖块...
Win10环境下使用WSL安装OpenAI/gym +TensorFlow用强化学习DQN打砖块(Breakout Game)
热门推荐
小鹅鹅的博客
02-27 1万+
实现目标 我们的目标是在Windows 10系统上具体实现DeepMind论文中强化学习算法Q-learning Network(DQN)的训练过程。 随着每次训练，强化学习算法将拿到越来越高的分，具体强化学习与DQN的前置知识可以参考这里 注意：子系统无法安装CUDA，所以只能使用CPU版的TensorFlow，具体可以参考下图 运行环境 Win 10 + Ubuntu 1...
实现打砖块小游戏(10.9—10.11)
ohnk_的博客
10-10 138
我的问题 1. 构造函数的使用 2. 为什么不在构造函数里面定义功能，而要在原型链上去写功能？
c++实现打砖块游戏——童年回忆
weixin_45710519的博客
08-04 823
采用分文件来进行书写，便于后续的维护和改良，首先声明自己需要用到的函数，准备好球类、木板类。 #pragma once #include<easyx.h> //木板类 class Board { public: Board(int x,int y,int width,int height,int speed,COLORREF color); int x; int y; int width; int height; int speed; COLORREF color; }; .
GYM雅达利打砖块环境安装
weixin_43618924的博客
07-20 1575
我要使用的“BreakoutNoFrameskip-v4”打砖块环境并不在gym基础环境中，然后为了安装还出了还出现了很多的bug，改来改去bug越来越多，还发现自己之前手贱删了一些dll链接文件，导致包之间的依赖关系被破坏。 如果你安装失败并且尝试了很多方法依然不成功，那么可以用我下面的方法来安装。...
breakout-Deep-Q-Network:强化学习| 在Atari Breakout上执行DQN，对决DQN和Double DQN的tensorflow实现
05-11
突破-深度-Q-网络 :person_running: [强化学习]在Atari Breakout游戏上执行的Deep Q Network（DQN），决斗DQN和Double DQN的张量流实现 安装 键入以下命令以安装OpenAI Gym Atari环境。 $ pip3 install opencv-python gym gym[atari] 如果您在安装时遇到任何问题，请参考。 如何 请不要修改test.py ， environment.py ， agent_dir/agent.py 培训DQN： $ python3 main.py --train_dqn 测试DQN： $ python3 test.py --test_dqn 注意：该环境还提供了用于游戏pong的界面，但是我尚未实现该模型。 执行 算法：具有经验重播的深度Q学习 参考：第5页，“使用深度强化学习玩Atari” 这是没有装饰的最简
【RL从入门到放弃】【二十六】【OpenAI gym玩打砖块游戏】
勿于浮沙筑高台
05-08 3196
今天来看看OpenAI 团队的gym，看看能否受到启发啊！ Gym is a toolkit【工具包】 for developing and comparing reinforcement learning algorithms. It supports teaching agents everything fromwalkingto playing games likePongorP...
强化学习Double DQN方法玩雅达利Breakout游戏完整实现代码与评估pytorch
一颗蚂蚱
01-09 2592
基于Pytorch实现Double DQN方法在雅达利Breakout游戏上，设置不同超参数进行训练，并简单分析结果。后附完整代码。
【强化学习】OpenAI Gym 多线程环境的简单实现，适用于A2C、A3C等算法
qq_33361420的博客
11-05 1755
本文介绍了OpenAI Gym多线程环境的实现方法。由于OpenAI Baselines提供的SubprocVecEnv类在使用时会有一些bug，本文用自己的方式对多线程环境进行简单实现。以Breakout为例，效果如图。 图 1 多线程breakout环境训练过程 ...
DQN初探之学习Breakout-v0
Azahaxia的博客
05-05 5589
DQN初探之学习"Breakout-v0" 本文记录了我初次使用DQN训练agent完成Atari游戏之"Breakout-v0"的过程。整个过程仿照DeepMind在nature发表的论文"Human-level control through deep reinforcement learning"。 1.gym环境之"Breakout-v0" 1.1.环境的状态空间和动作空间 首先确定"Breakout-v0"的动作空间和状态空间，其状态是游戏截图。 env = gym.make('Breakout-
强化学习实战（三）强化学习环境-gym环境--列表
小小何先生的学习之旅
08-30 7656
强化学习实战（三）强化学习环境-gym环境--列表
强化学习中的好奇心驱动学习算法：随机网络精馏探索技术
EAWorld
12-06 1431
本文为翻译发表，转载需要注明来自公众号EAWorld。作者：Rani Horev译者：白小白原题：Explained: Curiosity-Driven Learnin...
【强化学习】 OpenAI Gym入门：基础组件（Getting Started With OpenAI Gym: The Basic Building Blocks）
zhaohongfei_358的博客
08-17 5816
【强化学习】 OpenAI Gym入门：基础组件（Getting Started With OpenAI Gym: The Basic Building Blocks）
Easy RL：强化学习教程：什么是强化学习
人邮异步社区
04-01 5141
强化学习（reinforcement learning，RL）讨论的问题是智能体（agent）怎么在复杂、不确定的环境（environment）中最大化它能获得的奖励。如图1.1 所示，强化学习由两部分组成：智能体和环境。在强化学习过程中，智能体与环境一直在交互。智能体在环境中获取某个状态后，它会利用该状态输出一个动作（action），这个动作也称为决策（decision）。然后这个动作会在环境中被执行，环境会根据智能体采取的动作，输出下一个状态以及当前这个动作带来的奖励。智能体的目的就是尽可能多地从环境中
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值