强化学习 Reinforcement Learning（五）—— 使用 K20 单片机玩一个 Q 学习小游戏

最新推荐文章于 2022-03-18 22:12:39 发布
最新推荐文章于 2022-03-18 22:12:39 发布
阅读量1k 收藏 8
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wzduang/article/details/110673389
版权

强化学习 Reinforcement Learning（五）—— 使用 K20 单片机玩一个 Q 学习小游戏

目录

写在前面

因为这个学期需要学习飞思卡尔的K20单片机，突发奇想看看能不能写个Q学习的小游戏让单片机自己玩一下。

本文用到的单片机：KinetisMKDN512

在这里插入图片描述

小游戏内容

在这里插入图片描述
上图中有 5 个房间，分别被标记成房间 0~4，房间外被标记成 5，现在智能体 Agent 被随机丢在 0-4 号 5 个房间中的任意 1 个，它的目标是寻找到离开房间的路。

若智能体可以成功走出房门，则奖励+100。

在这里插入图片描述
整理后用有向图的方式将含有奖励信息的环境画出，如上图所示。

该环境的奖励矩阵如下：

在这里插入图片描述
其中，值为“-1”表示不可移动到的位置，在代码中可以作为判断的依据。如当智能体位于房间 3 时，智能体无法直接到达房间 5，因为房间 3 里没有门可以直接出去。

程序功能

  1. 进行训练并将训练过程的信息显示到数码管上
  2. 训练完成后对模型进行测试，将测试时模型到达目标所用的步数显示到数码管上。

代码部分

主函数代码，包括初始化函数以及Q学习部分。对于训练的过程做了可视化处理，主要是将关键信息显示在数码管上。

/*
 * @Author: ZiSeoi
 * @Date: 2020-12-03 21:51:14
 * @LastEditTime: 2020-12-03 22:09:25
 * @LastEditors: Please set LastEditors
 * @Description: In User Settings Edit
 */

#include "stdlib.h"
#include "derivative.h" /* include peripheral declarations */

unsigned char num[10]={0xA0,0xBE,0x62,0x2A,0x3C,0x29,0x21,0xBA,0x20,0x28};//1~10
uint32_t Select_LED[6]={0xFFFFEFFF,0xFFFFDFFF,0xFFFFBFFF,0xFFFF7FFF,0xFFFEFFFF,0xFFFDFFFF};//片选

void init(void)//初始化
{
	SIM_SCGC5|=0x200;
	SIM_SCGC5|=0x1000;
	SIM_SCGC5|=SIM_SCGC5_PORTB_MASK;
	SIM_SCGC5|=SIM_SCGC5_PORTE_MASK;
	//使能PORTA时钟，PORTB时钟，PORTD时钟和PORTE时钟
	PORTA_PCR12=0x0100;
	PORTA_PCR13=0x0100;
	PORTA_PCR14=0x0100;
	PORTA_PCR15=0x0100;
	PORTA_PCR16=0x0100;
	PORTA_PCR17=0x0100;
	PORTD_PCR0=0x0100;
	PORTD_PCR1=0x0100;
	PORTD_PCR2=0x0100;
	PORTD_PCR3=0x0100;
	PORTD_PCR4=0x0100;
	PORTD_PCR5=0x0100;
	PORTD_PCR6=0x0100;
	PORTD_PCR7=0x0100;
	GPIOD_PDDR|=0x00FF;    //PD全设置为输出
	GPIOA_PDDR|=0x03F000;  //PA全设置为输出
	GPIOA_PDOR|=0x03F000;  //PA全设置为1
	GPIOD_PDOR=0xFF;

	PORTB_PCR17=0x0A0103;
	PORTB_PCR16=0x0A0103;
	PORTB_PCR11=0x0A0103;
	PORTB_PCR10=0x0A0103;
	NVICICPR2=1<<(88%32);
	NVICISER2=1<<(88%32); //开启PORTB中断
	GPIOB_PDDR&=~0x30C00; //设置4个输入端口
	PORTE_PCR2=0x0A0103;
	PORTE_PCR3=0x0A0103;
	PORTE_PCR4=0x0A0103;
	PORTE_PCR5=0x0A0103;
	NVICICPR2=1<<(91%32);
	NVICISER2=1<<(91%32); //开启PORTE中断
	GPIOE_PDDR&=~0x03C;   //设置4个输入端口
}


//动作数
#define ACTIONS 6
//探索次数
#define episode 100
//目标状态，即：移动到 5 号房间。
#define target_state 5
//γ，折损率，取值是 0 到 1 之间。
#define gamma 0.8

int max(int* p, int m)
{
	int i, max = *p;
	for (i = 1; i < m; i++)
	{
		if (*(p + i) > max)
			max = *(p + i);
	}
	return max;
}

int main()
{
while(1)
{
	init();
	// 经验矩阵。
	int q[6][6] = { 0 };

	int r[6][6] = { 
	{ -1, -1, -1, -1, 0, -1},
	{-1, -1, -1, 0, -1, 100.0},
	{ -1, -1, -1, 0, -1, -1},
	{-1, 0, 0, -1, 0, -1},
	{0, -1, -1, 0, -1, 100.0},
	{ -1, 0, -1, -1, 0, 100.0 } 
	};

	int start_room;
	int current_state;
	int current_action;
	int current_action_point;
	int next_state;
	int step;
	int next_state_max_q;

	// 搜索次数
	int i=0;
	int j=0;
	for (i = 0; i < episode; i++)
	{
		// Agent 的初始位置的状态。
		start_room = rand() % 5;
		// 当前状态。
		current_state = start_room;
		while (current_state != target_state)
		{
			//当前状态中的随机选取下一个可执行的动作。
			current_action = rand() % 6;
			// 执行该动作后的得分。
			current_action_point = r[current_state][current_action];
			if (current_action_point < 0)
			{
				q[current_state][current_action] = current_action_point;
			}
			else
			{
				// 得到下一个状态。
				next_state = current_action;
				// 获得下一个状态中，在自我经验中，也就是 Q 矩阵的最有价值的动作的经验得分。
				next_state_max_q = max(&q[next_state][0],6);
				// 当前动作的经验总得分 = 当前动作得分 + γ X 执行该动作后的下一个状态的最大的经验得分
				// 即：积累经验 = 动作执行后的即时奖励 + 下一状态根据现有学习经验中最有价值的选择 X 折扣率
				q[current_state][current_action] = current_action_point + gamma * next_state_max_q;
				current_state = next_state;
			}
			for(j=1;j>0;j--)//多次显示防止低位数字显示过暗
						{						
									GPIOA_PDOR|=0xFF000;//清除寄存器 
									GPIOD_PDOR=num[current_state];//显示字符
									GPIOA_PDOR&=Select_LED[2];//片选	
									_delay();
									GPIOA_PDOR|=0xFF000;//清除寄存器 
									GPIOD_PDOR=num[next_state];//显示字符
									GPIOA_PDOR&=Select_LED[0];//片选
									delay();
						}
		}
	}

	start_room = rand()%5;
	current_state = start_room;
	step = 0;
	
	// 这里是进行测试，依据训练好的Q值，选择动作。
	while (current_state != target_state)
	{
		// 用两个for循环实现。
		int m = -100;
		int i=0;
		for (i = 0; i < 6; ++i)
		{
			if (m < q[current_state][i])
			{//找最大值
				m = q[current_state][i];
			}
		}
		for (j = 0; j < 6; j++)
		{
			if (m == q[current_state][j])
				next_state = j;
		}
		//Agent 由current_state号房间移动到了next_state号房间
		current_state = next_state;
		step += 1;
	}
	
	for(j=200000;j>0;j--)
				{						
							/*step显示*/
							GPIOA_PDOR|=0xFF000;//清除寄存器 
							GPIOD_PDOR=num[step/100];//显示字符
							GPIOA_PDOR&=Select_LED[5];//片选
							GPIOA_PDOR|=0xFF000;//清除寄存器
							
							GPIOD_PDOR=num[(step-(step%100))/10];//显示字符
							GPIOA_PDOR&=Select_LED[4];//片
							GPIOA_PDOR|=0xFF000;//清除寄存器 
							GPIOD_PDOR=num[step%10];//显示字符
							GPIOA_PDOR&=Select_LED[3];//片选
							
							GPIOA_PDOR|=0xFF000;//清除寄存器 
							GPIOD_PDOR=num[start_room];//显示字符
							GPIOA_PDOR&=Select_LED[1];//片选
				}
}
	return 0;
}

中断函数部分，包括中断向量表

/*
 *    kinetis_sysinit.c - Default init routines for P2
 *                     		Kinetis ARM systems
 */
 
#include "kinetis_sysinit.h"
#include "derivative.h"

/**
 **===========================================================================
 **  External declarations
 **===========================================================================
 */
#if __cplusplus
extern "C" {
#endif
extern uint32_t __vector_table[];
extern unsigned long _estack;
extern void __thumb_startup(void);
#if __cplusplus
}
#endif

/**
 **===========================================================================
 **  Default interrupt handler
 **===========================================================================
 */
void Default_Handler()
{
	__asm("bkpt");
}



/**
 **===========================================================================
 **  Reset handler
 **===========================================================================
 */
void __init_hardware()
{
	SCB_VTOR = (uint32_t)__vector_table; /* Set the interrupt vector table position */
	/*
		Disable the Watchdog because it may reset the core before entering main().
		There are 2 unlock words which shall be provided in sequence before
		accessing the control register.
	*/
	WDOG_UNLOCK = KINETIS_WDOG_UNLOCK_SEQ_1;
	WDOG_UNLOCK = KINETIS_WDOG_UNLOCK_SEQ_2;
	WDOG_STCTRLH = KINETIS_WDOG_DISABLED_CTRL;
}

/* Weak definitions of handlers point to Default_Handler if not implemented */
void NMI_Handler() __attribute__ ((weak, alias("Default_Handler")));
void HardFault_Handler() __attribute__ ((weak, alias("Default_Handler")));
void MemManage_Handler() __attribute__ ((weak, alias("Default_Handler")));
void BusFault_Handler() __attribute__ ((weak, alias("Default_Handler")));
void UsageFault_Handler() __attribute__ ((weak, alias("Default_Handler")));
void SVC_Handler() __attribute__ ((weak, alias("Default_Handler")));
void DebugMonitor_Handler() __attribute__ ((weak, alias("Default_Handler")));
void PendSV_Handler() __attribute__ ((weak, alias("Default_Handler")));
void SysTick_Handler() __attribute__ ((weak, alias("Default_Handler")));


int count=0;
int color=0;
void PORTB_Handler(void)
{
	int temp_color;
	temp_color=LED_change(color);
	if(PORTB_ISFR&0x020000) //SW1
	{	
		GPIOC_PDOR|=0x0FFF;
		if(temp_color==3) GPIOC_PDOR&=~0x07;
		else GPIOC_PDOR&=~(0x01<<temp_color);
	    GPIOC_PDOR|=0x248;
	    count=1;
	}
	else if(PORTB_ISFR&0x010000)//SW2
	{	
		GPIOC_PDOR|=0x0FFF;
		if(temp_color==3) GPIOC_PDOR&=~0x03F;
		else GPIOC_PDOR&=~(0x09<<temp_color);
	    GPIOC_PDOR|=0x240;
	    count=2;
	}
	else if(PORTB_ISFR&0x0800)//SW3
	{	
		GPIOC_PDOR|=0x0FFF;
		if(temp_color==3) GPIOC_PDOR&=~0x1FF;
		else GPIOC_PDOR&=~(0x049<<temp_color);
	    GPIOC_PDOR|=0x200;
	    count=3;
	}
	else if(PORTB_ISFR&0x0400)//SW4
    {	
		GPIOC_PDOR|=0x0FFF;
		if(temp_color==3) GPIOC_PDOR&=~0x0FFF;
		else GPIOC_PDOR&=~(0x249<<temp_color);
		count=4;
    }
	PORTB_PCR17|=0x01000000;
	PORTB_PCR16|=0x01000000;
	PORTB_PCR11|=0x01000000;
	PORTB_PCR10|=0x01000000;
void PORTE_Handler(void)
{
    int temp_GPIOC_PDOR;
    temp_GPIOC_PDOR=LED_change(count);
    if(PORTE_ISFR&0x4)
    {
    	GPIOC_PDOR|=0x0FFF;
    	GPIOC_PDOR&=~temp_GPIOC_PDOR;
    	color=5;
    }
    else if(PORTE_ISFR&0x8) 
    {
    	GPIOC_PDOR|=0x0FFF;
        GPIOC_PDOR&=~(temp_GPIOC_PDOR<<1);
        color=6;
    }
    else if(PORTE_ISFR&0x10)  
    {
    	GPIOC_PDOR|=0x0FFF;
        GPIOC_PDOR&=~(temp_GPIOC_PDOR<<2);
        color=7;
    }
    else if(PORTE_ISFR&0x20)  
    {
    	GPIOC_PDOR|=0x0FFF;
        GPIOC_PDOR&=~((temp_GPIOC_PDOR<<2)|(temp_GPIOC_PDOR<<1)|(temp_GPIOC_PDOR));
        color=8;
    }
    PORTE_PCR2|=0x01000000;
    PORTE_PCR3|=0x01000000;
    PORTE_PCR4|=0x01000000;
    PORTE_PCR5|=0x01000000;
}

/* The Interrupt Vector Table */
void (* const InterruptVector[])() __attribute__ ((section(".vectortable"))) = {
    /* Processor exceptions */
    (void(*)(void)) &_estack,
    __thumb_startup,
    NMI_Handler, 
    HardFault_Handler, 
    MemManage_Handler, 
    BusFault_Handler,
    UsageFault_Handler, 
    0, 
    0, 
    0, 
    0, 
    SVC_Handler, 
    DebugMonitor_Handler, 
    0,
    PendSV_Handler, 
    SysTick_Handler,

    /* Interrupts */
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler, 
    PORTB_Handler,
    Default_Handler,
    Default_Handler,//90
    PORTE_Handler,	
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,
    Default_Handler,	
    Default_Handler,
    Default_Handler,		
};

效果展示

训练时，数码管第四位是当前所处的房间号，第六位是下一次要到达的房间号。
训练完成后，测试结果打出，数码管前三位为测试所用的步数，第五位为初始房间号。

K20单片机Q学习小游戏演示

ZiSeoi
关注
强化学习Reinforcement Learning的功能性安全与风险管理分析
AI天才研究院
06-01 991
1.背景介绍 在人工智能领域中，强化学习（Reinforcement Learning, RL）是一种重要的学习范式，它关注智能体如何在环境中采取行动以最大化某种累积奖励。随着深度学习和大数据的发展，强化学习已经在多个领域取得了显著的成就，包括游戏、机器人控制、自动驾驶汽车等。然而，尽管其强大的潜力，强化学习在实际应用中的功能性安全和风险管理方面仍然面
q-learning-MCU-C51 单片机上的强化学习
weixin_43161258的博客
07-11 736
q-learning-MCU-C51 代码和说明链接：https://github.com/392625227/q-learning-HC0541-C51- 本文修改自这个：https://github.com/392625227/Arduino_Neural_Network 实现一个基于8051MCU的强化学习q-learning 应用。 强化学习与人类学习的方式类似，算法需要大量的训练才能像人一样实现目标（如果你想在某件事上做到最好，就需要大量的训练）。从技术上讲，采用RL的算法会选择出奖励更多
K20_Lab_Board_V4.2_单片机程序_飞思卡尔k20_
10-01
k20参考程序，可以帮助学习飞思卡尔单片机k20系列，非常有用
单片机K20使蜂鸣器唱歌的程序
04-24
单片机K20使蜂鸣器唱歌的程序
从零开始-Machine Learning学习笔记(32)-强化学习
kabuto_hui的博客
11-30 917
文章目录1. K-摇臂赌博机1.1 探索与利用1.2 $\epsilon$-贪心1.3 Softmax2. 有模型学习2.1 策略评估2.2 策略改进2.3 策略迭代与值迭代3. 免模型学习3.1 蒙特卡罗强化学习3.2 时序查分学习4. 值函数近似5. 模仿学习5.1 直接模仿学习5.2 逆强化学习   下图是强化学习的一个简单的示意图。强化学习任务通常用马尔可夫决策过程(Markov Dec...
嵌入式C语言强化学习——（嵌入式学习路线1）
weixin_45483869的博客
03-18 1877
前言 从零开始记录自己学习嵌入式，之前看稚晖君的视频，里面的费曼学习法觉得对自己很有帮助，所以准备把自己学习到的东西分享出来，便于学的更深（符合费曼学习法） 众所周知，嵌入式编一般是使用C语言(也有用python之类的，比如树莓派pico，以后的文章会写到)，所以C语言的基础很重要。今天看了韦东山老师的嵌入式C语言加强课，来总结一下。 课程链接：韦东山老师嵌入式C语言加强，全天8小时直播，吐血整理可以分集观看！ 口诀 韦东山老师两个口诀： 变量能变，可读可写，必放内存 指针放地址，32位处理器地址必32位
RLCard是一款卡牌游戏强化学习 (Reinforcement Learning, RL) 的工具包
最新发布
02-11
RLCard是一款卡牌游戏强化学习 (Reinforcement Learning, RL) 的工具包。 它支持多种卡牌游戏环境，具有易于使用的接口，以用于实现各种强化学习和搜索算法。 RLCard的目标是架起强化学习和非完全信息游戏之间的桥梁...
强化学习导论中文版 增强学习导论中文版 Reinforcement learning an introduction 中文版.
06-04
5. Q-learning：Q-learning是一种离策略的强化学习算法，它学习的是一个Q表，用于估计在给定状态下执行每个动作的未来奖励。Q-learning的特性是无模型（model-free）和最优性（optimality），能够找到最大期望累积...
2.2 Q Learning 算法更新 (强化学习 Reinforcement Learning 教学)
08-31
#2.2_Q_Learning_算法更新__(强化学习_Reinforcement_Learning_教学)
Solutions (Selected) Reinforcement Learning_Reinforcement_学习_强化学
10-04
强化学习（Reinforcement Learning，RL）是一种人工智能领域的机器学习方法，它着重于通过与环境的交互来学习最优策略。这个领域由一个智能体（agent）和一个环境组成，智能体通过执行动作并观察环境的反馈（即奖励...
单片机经典游戏程序 供初学者使用
12-21
单片机小型经典游戏程序 供初学者使用 不大只有1m多
PWM例程__MK20DX128VLH5_K20系列
wuhuijun165的博客
07-19 853
K20,PWM
雅达利游戏 几关_使用q学习掌握雅达利游戏
weixin_26712065的博客
09-02 807
雅达利游戏 几关Q-Learning and other reinforcement learning algorithms have recently taken over the machine learning scene, with AlphaGo’s victory over former champion Lee Se-dol. I thought it would take on a...
强化学习案例：N个房间中单agent移动的Q学习
weixin_42369869的博客
01-07 186
强化学习 Q学习原理及例子（离散）附matlab程序
深度强化学习入门
weixin_41831274的博客
04-21 313
面向序列分析的代表性学习策略——深度强化学习 （代表性研究机构：阿尔伯特大学、deepMind，openAI、伯克利大学） 传统序列学习策略的不足： 强化学习的通用框架：learn by interacting with our environment 强化学习区别于其他机器学习策略最重要的四大特质： 动态地影响； 持续地交互； 稀疏的标注； 延迟的反馈 强化学习基本概念 强化学习的形式化描述...
开发、学习首选开发板----4412开发板介绍
Chihiro_S的专栏
03-03 612
疫情逐渐好转，目前好多小伙伴已经开工啦，当然也有一些小伙伴也还在家中-最近就有个小伙伴来找客服，在家里无聊想学习嵌入式，但是手头预算又不够多，想让我们想想办法推荐个高性能且适合学习的板，客服灵机一动，掏出了咱们店铺的硬核板卡-----4412精英版 高性能的同时，学习资料也不少， 这板挺香，资料还持续更新~ 2020年新增MQTT移植教程，支持连接阿里云IoT物联网平台 ...
强化学习笔记整合
Levy的博客
11-13 584
强化学习笔记 Step-By-Step Tutorial 问题背景 假设一幢建筑里面有5个房间，房间之间通过门相连，将这五个放进啊按照0到4进行编号，且建筑外围可认为是个大房间，编号为5。 上图的房间可以通过一个图来表示，房间作为图的节点，两个房间若有门相连，则相应节点对应一条边。 对于这个例子，我们首先将agent置于建筑中的任意一个房间，然后从那个房间开始，让其走到建筑外，那是我们的目标房...
使用强化学习快速让AI学会玩贪食蛇游戏(轻量级二十分钟训练+代码)
热门推荐
ZYunfei的博客
07-10 1万+
如何让AI玩会贪食蛇，甚至比你厉害概述构建问题(强化学习求解的一般步骤)环境动作定义状态定义奖励设计训练奖励值收敛图效果代码 概述 所用技术：强化学习(Deep Reinforcement Learning)，属于一种无监督学习，利用奖励rewardrewardreward教会智能体AgentAgentAgent在合适的场景做合适的决策。 采用算法：试过两种算法D3QN和离散版本的PPO算法，最终采用离散版本PPO算法+GAE（PPO是我用过的性能最好的算法之一） 编程语言与深度学习框架：Python3.
强化学习DQN 入门小游戏 最简单的Pytorch代码
不佛的博客
12-08 5583
本文目的是用最简单的代码，展示DQN玩游戏的效果，不涉及深度学习原理讲解。 毕竟，入门如此艰难，唯一的动力不过是看个效果，装个biu…… 安装OpenAI的游戏库gym pip install gym 看一下运行效果 import gym env = gym.make('CartPole-v1') print('State shape:', env.observation_space.shape) print('Number of actions:', env.action_space.n) for _
2018年强化学习经典教材：《Reinforcement Learning: An Introduction》第二版
《RL book 2018.pdf》是一本关于强化...《Reinforcement Learning: An Introduction》是强化学习领域的经典之作，对于想要深入了解这一重要技术的人来说，无论是在理论研究还是实践应用上，都是不可或缺的参考资料。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值