增强学习系列之（三）：实现一个打砖块的游戏

最新推荐文章于 2024-03-04 22:46:12 发布
VIP文章 最新推荐文章于 2024-03-04 22:46:12 发布
阅读量1.2w 收藏 40
点赞数 6
分类专栏： 机器学习 python 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/superCally/article/details/54784103
版权

1.Acknowledgement

本篇文章中神经网络的结构主要来自于DeepMind的这篇论文
https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf

2. 实现效果

我们要实现的这个游戏，在openai的gym里面，叫做breakout，使用的是v3版本，初始化环境的时候需要声明一下

我们想要实现的效果，基本上是这样的
这里写图片描述

这里写图片描述

输入就是每一帧的图像，输出是当前应该采取的动作

一开始agent只会做随机的运动，在训练了一段时间之后，就可以精准的接住球了

3. 基本框架

基本框架这之前基本相同，都是采用Q-Learning算法

这里写图片描述

具体解释看这篇文章

http://blog.csdn.net/supercally/article/details/54767499

4. 与之前简单版本的区别

最大的区别有这几点：

1. 输入是原始的图像数据

输入是210 * 160 * 3的图像，我们稍作处理，把边上不需要的像素去掉之后降阶采样灰度化，将80 * 80 * 1的图像作为算法的输入

2. 用最近的四帧的序列作为输入

神经网络的输入不是单帧的图像，而是最近的连续四帧图像作为输入。这也很好理解，因为这样就加入了时间序列。对于打砖块这个游戏，如果只用一帧作输入的话，虽然砖块在同一个位置，但是可能是向好几个方向运动的，agent无法判断它的价值。

但是如果我们添加了最近几帧，agent就可以根据前后的时间判断出是向哪个方向运动的，这个状态就完整了

3. 卷积神经网络的结构

在用神经网络判断价值方面，与之前不同。之前简单的训练网络是用了一个隐层的网络来实现的，但是对于处理图像的任务，我们使用的是卷积神经网络

使用的网络的结构是这样的

这里写图片描述

卷积神经网络的大小这样计算

Sizeoutput=W−F
最低0.47元/天 解锁文章
杨思达zzz
关注
  • 6
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
Softmax的理解与应用
superCally的专栏
01-08 3万+
Softmax 理解 应用
增强学习系列之（一）：增强学习介绍
热门推荐
superCally的专栏
01-27 2万+
增强学习介绍
python入门教程：实现打砖块小游戏代码实例
12-22
这篇文章主要介绍了Python打砖块小游戏，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧 这次用Python实现的是一个接球打砖块的小游戏，需要导入pygame模块，有以下两条经验总结： 1.多父类的继承2.碰撞检测的数学模型 知识点稍后再说，我们先看看游戏的效果和实现： 一、游戏效果 二、游戏代码 #导入模块 import pygame from pygame.locals import * import sys,random,time,math class GameWindow(object): '''创建游
Atari-Breakout
05-15
雅达利突围 该游戏的创建没有计分板或额外的关卡。 稍后还会添加一些内容，例如开始菜单和背景音乐。 控制项： 空间-这是开始游戏并在生命消失后继续的空间。 向左箭头-将操纵杆向左移动。 向右箭头-将操纵杆向右移动。
【绝对干货】打砖块游戏开发秘籍，Python+Pygame全面解析！
最新发布
ql1314xjt的博客
03-04 226
在我们开始创建游戏逻辑之前，我们需要定义一些游戏中使用的元素，包括玩家、砖块和小球。
用JS实现一个简单的打砖块游戏
10-15
主要介绍了用JS实现一个简单的打砖块游戏,代码分为html+css+js三部分，具体实例代码感兴趣的朋友跟随小编一起看看吧
Breakout-RL：使用带有CNN的DQN解决OpenAI Gym Env突破
02-20
Breakout-RL：使用带有CNN的DQN解决OpenAI Gym Env突破
人工智能时代的降临
weixin_34050005的博客
01-22 433
去年以来关于人工智能（AI）的讨论非常火热，最近读到一篇这个主题的文章觉得非常不错，翻译过来分享下。这不是一篇烧脑的关于人工智能技术文，而是一篇开阔的思辨性文章。 下面是原文： 是的，数百万低报酬、低技能的工作岗位将面临风险，但人工智能革命还是会带来很多好处的。 1 周二，白宫发布了一份关于人工智能与经济的令人寒心的报告。报告以如下推断开头：“可以预计机器将在越来越多的任务上达到甚至超越人类的...
使用强化学习NatureDQN来玩打砖块
疯狂的鸡窝
01-21 2426
使用强化学习NatureDQN来玩打砖块目标第一版尝试打砖块的基础预处理图片预处理状态预处理网络设计第二版本尝试第三版本尝试代码目录： 目标 打砖块是gym游戏中相对复杂一些的游戏，不同于CartPole游戏，状态空间较少，基本上10分钟左右训练就可以玩到最高分，打砖块要训练非常长的时间，因此对于更进一步去理解和优化DQN非常有帮助。 第一版尝试 打砖块的基础 打砖块的reward设置是敲打到砖块...
强化学习-DQN-ATARI2600-打砖块
weixin_47895059的博客
10-14 1656
import torch import atari_py import pandas as pd import numpy as np import gym import time import PIL.Image as Image import torch.nn as nn class DQBReplayer: def __init__(self,capacity): self.memory = pd.DataFrame(index=range(capacity),column.
Win10环境下使用WSL安装OpenAI/gym +TensorFlow用强化学习DQN打砖块(Breakout Game)
小鹅鹅的博客
02-27 1万+
实现目标 我们的目标是在Windows 10系统上具体实现DeepMind论文中强化学习算法Q-learning Network(DQN)的训练过程。 随着每次训练，强化学习算法将拿到越来越高的分，具体强化学习与DQN的前置知识可以参考这里 注意：子系统无法安装CUDA，所以只能使用CPU版的TensorFlow，具体可以参考下图 运行环境 Win 10 + Ubuntu 1...
强化学习库GYM的完整安装，运行breakout
sandichesadan的博客
03-09 898
gym实现atari游戏的运行及学习
gym弹球
qq_42304949的博客
12-25 412
gym弹球 弹球的动作空间为4，即有4个动作，0,1,2,3. 这四个值分别控制球拍的四个动作，0：原地不动，1：发球，2：右移，3：左移 打开⼀个命令提示符界⾯，通过⼿动执⾏env.step(n);env.render()等命令，实现⼿动控制球拍得到5分 import gym import time env = gym.make("Breakout-v0") obs = env.reset() ...
Scratch游戏源代码-小学一年级作品：打砖块
09-29
这是一款令人上瘾的打砖块游戏，充满了挑战和乐趣。在这个游戏中，你将面对超过300个砖块，不断提高的发射速度，以及各种创新的游戏机制，让你陷入其中，难以自拔。 **游戏目标：** 你的任务很简单：消除所有的...
用cocos2d-x实现的一个简单的打砖块游戏
05-11
cocos2d 打砖块源码,能够读取tile地图,没有用到物理引擎,总体代码不多,主要用于学习参考.使用的是cocos2d 3.17版本的源码编译的
python实现打砖块游戏
09-17
主要为大家详细介绍了Python实现打砖块游戏，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
增强学习系列之（二）：实现一个简单的增强学习的例子
superCally的专栏
01-28 2万+
增强学习例子
识别MNIST数据集之（一）：读取数据
superCally的专栏
01-08 1万+
MINIST读数据
Deep Residual Network 与 梯度消失
superCally的专栏
02-18 1万+
深度残差网络 DRN
用python写一个打砖块游戏
08-06
### 回答1： 可以的！我可以给你一些简单的步骤： 1. 创建一个窗口，用于显示游戏 2. 加载图像，用于显示砖块和挡板 3. 创建一个循环，用于更新游戏内容 4. 在循环中，检查键盘输入，以控制挡板的移动 5. 检查砖块是否和挡板相撞，如果相撞，就移动砖块的方向 6. 检查砖块是否落地，如果落地，就将砖块从屏幕上移除 7. 如果所有砖块都被移除，就表示游戏结束，显示胜利消息 ### 回答2： 打砖块是一种经典的游戏，我们可以使用Python来实现一个简单的版本。首先，我们需要使用pygame库来创建游戏窗口和处理游戏逻辑。 在游戏开始时，我们要绘制一个滑块和一排砖块。滑块可以通过键盘的左右方向键来控制，用于接住从顶部下落的小球。砖块可以用二维数组表示，其中每个元素代表一个砖块的状态（是否被破坏）。 游戏的主循环中，我们需要检测用户的输入，并根据输入来移动滑块。同时，我们还需要不断地更新小球的位置，并检测其与滑块和砖块的碰撞。如果小球与滑块碰撞，则反弹回去；如果小球与砖块碰撞，则砖块被破坏并得分增加。 当所有砖块都被破坏或小球触底时，游戏结束。我们可以在游戏结束后显示得分，并等待用户选择重新开始或退出游戏。 总结起来，用Python写一个打砖块游戏需要完成以下几个步骤： 1. 导入pygame库和其他必要的模块。 2. 初始化游戏窗口和游戏变量。 3. 绘制游戏元素，包括滑块和砖块。 4. 创建游戏主循环，处理用户的输入和更新游戏逻辑。 5. 创建碰撞检测函数，处理小球与滑块和砖块的碰撞。 6. 处理游戏结束时的逻辑和用户选择。 以上是一个简单的打砖块游戏实现的大致步骤，通过使用Python和pygame库，我们可以实现一个简单但有趣的游戏。当然，我们还可以进一步优化和添加更多的功能来提升游戏的可玩性。 ### 回答3： 打砖块游戏是一款经典的游戏，我们可以使用Python编写一个简单的版本。 首先，我们需要导入pygame库。你可以使用pip命令在终端上安装: ``` pip install pygame ``` 然后，创建一个游戏窗口，并初始化pygame的库: ```python import pygame from pygame.locals import * SCREEN_WIDTH = 800 SCREEN_HEIGHT = 600 pygame.init() screen = pygame.display.set_mode((SCREEN_WIDTH, SCREEN_HEIGHT)) pygame.display.set_caption("打砖块游戏") ``` 接下来，我们可以使用pygame的图形绘制功能来创建砖块、球和挡板: ```python BRICK_WIDTH = 60 BRICK_HEIGHT = 20 BRICK_COLOR = (255, 0, 0) PADDLE_WIDTH = 100 PADDLE_HEIGHT = 10 PADDLE_COLOR = (0, 0, 255) BALL_RADIUS = 10 BALL_COLOR = (0, 255, 0) brick = pygame.Rect(0, 0, BRICK_WIDTH, BRICK_HEIGHT) paddle = pygame.Rect(0, SCREEN_HEIGHT - PADDLE_HEIGHT, PADDLE_WIDTH, PADDLE_HEIGHT) ball = pygame.Rect(SCREEN_WIDTH // 2 - BALL_RADIUS, SCREEN_HEIGHT // 2 - BALL_RADIUS, BALL_RADIUS, BALL_RADIUS) def draw(): screen.fill((0, 0, 0)) pygame.draw.rect(screen, BRICK_COLOR, brick) pygame.draw.rect(screen, PADDLE_COLOR, paddle) pygame.draw.circle(screen, BALL_COLOR, ball.center, BALL_RADIUS) pygame.display.update() ``` 在游戏循环中，我们需要实现挡板的移动和球的运动逻辑: ```python PADDLE_SPEED = 5 BALL_SPEED_X = 3 BALL_SPEED_Y = 3 while True: for event in pygame.event.get(): if event.type == QUIT: pygame.quit() sys.exit() keys = pygame.key.get_pressed() if keys[K_LEFT]: paddle.left -= PADDLE_SPEED if keys[K_RIGHT]: paddle.left += PADDLE_SPEED ball.left += BALL_SPEED_X ball.top += BALL_SPEED_Y if ball.left <= 0 or ball.right >= SCREEN_WIDTH: BALL_SPEED_X *= -1 if ball.top <= 0 or ball.colliderect(paddle): BALL_SPEED_Y *= -1 draw() ``` 以上就是简单的打砖块游戏，运行代码后你将看到一个可以左右移动的挡板和一个可以弹跳的球。你可以根据自己的需求，进一步添加砖块、计分等功能来完善游戏。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值