A Painless Q-learning Tutorial (一个 Q-learning 算法的简明教程)

最新推荐文章于 2024-03-13 20:31:50 发布
最新推荐文章于 2024-03-13 20:31:50 发布
阅读量365 收藏
点赞数
分类专栏： 强化学习 

      本文是对 http://mnemstudio.org/path-finding-q-learning-tutorial.htm 的翻译，共分两部分，第一部分为中文翻译，第二部分为英文原文。翻译时为方便读者理解，有些地方采用了意译的方式，此外，原文中有几处笔误，在翻译时已进行了更正。这篇教程通俗易懂，是一份很不错的学习理解 Q-learning 算法工作原理的材料。


 

 
 

 
 
 

 第一部分：中文翻译
 

 
 
 

 
 

 
 

                

        

        

    

  


    

      

        

            

              
                
                  YiqiangXu
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
《一个 Q-learning 算法的简明教程》之Python代码

				
			

			

				

					FengKuangXiaoZuo的博客
				

				

					03-03
					
					746
					
				

			

		

		

			
				
本文是对A Painless Q-learning Tutorial (一个 Q-learning 算法的简明教程)中的强化学习教程做的Python代码实现
代码框架参考【莫烦Python】强化学习 Reinforcement Learning

场景简述
一栋房子，共5个房间（最外层也看做一个房间5），目标是快速地从某个房间走出（即走到房间5）

抽象为有向图，并关联奖赏（只有通向房间5的转移有奖赏100，其他情况都为0）。

代码实现
# -*- coding: utf-8 -*-
"""
Creat.

			
		

	



                

            
              



	

		

			

				
					
Q学习算法（Q-learning）

				
			

			

				

					04-18
				

			

		

		

			
				
讲述Q学习算法基本原理，并通过几个小例子初步了解q学习算法应用。

			
		

	



              


  
              

                


	

		

			

				
					
强化学习Q-Learning算法及实现详解

				
			

			

				

					rayylee
				

				

					10-14
					
					5513
					
				

			

		

		

			
				
本教程通过一个简单但全面的示例介绍Q-learning的概念。 该示例描述了一个使用无监督学习的过程。
假设我们在一个建筑物中有5个房间，这些房间由门相连，如下图所示。 我们将每个房间编号为0到4。建筑物的外部可以视为一个大房间（5）。 请注意，1号和4号门从5号房间（外部）通向建筑物。

我们可以在图表上表示房间，每个房间作为节点，每个门作为链接。

对于此示例，我们想在任何房间中放置一个门，然后从该房间进入建筑物外（这将是我们的目标房间）。换句话说，目标房间是5号。要将此房间设置为目标，我们会将奖励值关

			
		

	





	

		

			

				
					
Q Learning算法实现

					
最新发布

				
			

			

				

					m0_52209879的博客
				

				

					03-13
					
					1415
					
				

			

		

		

			
				
Q learning 算法是一种value-based的强化学习算法，Q是quality的缩写，Q函数 Q(state，action)表示在状态state下执行动作action的quality， 也就是能获得的Q value是多少。算法的目标是最大化Q值，通过在状态state下所有可能的动作中选择最好的动作来达到最大化期望reward。Q learning算法使用Q table来记录不同状态下不同动作的预估Q值。

			
		

	



		

			
		



	

		

			

				
					
Q-learning算法

				
			

			

				

					s@dragon的博客
				

				

					10-16
					
					350
					
				

			

		

		

			
				
####Q-learnig算法  深度强化学习原理与实践   P115-11
# coding: utf-8

import gym
import numpy as np
import sys
import time
import pandas as pd
import matplotlib
from collections import defaultdict, namedtuple
from matplotlib import pyplot as plt

env = gym.make ("CartPo

			
		

	





	

		

			

				
					
A Painless Q-learning Tutorial  一个 Q-learning 算法的简明教程

				
			

			

				

					mmqqyyqqyyq的博客
				

				

					01-31
					
					447
					
				

			

		

		

			
				
A Painless Q-learning Tutorial  一个 Q-learning 算法的简明教程

			
		

	





	

		

			

				
					
random_walk.zip_Q learning_Q-learning_Q-learning、_Q算法_random wal

				
			

			

				

					07-14
				

			

		

		

			
				
在《A Painless Q-learning Tutorial》这篇教程中，作者深入浅出地介绍了Q-learning的基本概念和实现步骤。  Q-learning的目标是找到一个策略，使得在给定状态下执行该策略能够获得最大的期望累积奖励。这个策略通常...

			
		

	





	

		

			

				
					
A Painless Q learning Tutorial  一个 Q learning 算法的简明教程

				
			

			

				

					hggjgff的博客
				

				

					11-05
					
					156
					
				

			

		

		

			
				
分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！                分类：&nbs

			
		

	





	

		

			

				
					
Code for a painless q-learning tutorial

				
			

			

				

					05-14
				

			

		

		

			
				
Code for a painless q-learning tutorial

			
		

	





	

		

			

				
					
Q-Learning算法 Matlab代码实现

				
			

			

				

					11-28
				

			

		

		

			
				
一个简单的Q-Learning算法的综合示例，可以在Matlab仿真平台上实现。

			
		

	





	

		

			

				
					
Q-Learning算法

				
			

			

				

					qq_41903673的博客
				

				

					03-26
					
					3262
					
				

			

		

		

			
				
之前介绍过Sarsa算法，其是一种TD算法，目的是为了学习动作价值函数。Q-learning也是一种TD算法，目的是为了学习最优动作价值函数Q*，其实训练DQN的算法就是Q-learning。

Sarsa算法和Q-learning算法的区别：





两者的TD target略有不同。

Q-learning的TD target：



求最大化：



求完最大化后，可以消掉，得到下面的等式：



直接求期望比较困难，所以对期望进行蒙特卡洛近似，得到TD target:



Q-learning算

			
		

	





	

		

			

				
					
【Reinforcement Learning】Q-Learning算法

				
			

			

				

					我的技术栈碎碎念空间
				

				

					02-21
					
					718
					
				

			

		

		

			
				
一、什么是Q-Learning？
先举个简单的例子，假设我们正在写作业，此时可以选择继续写作业，也可以选择看电视。如果选择写作业，我们会得到奖赏，而选择看电视，就会挨打，这是不可磨灭的惨痛记忆。

Q-Learning就是这样的一个决策过程。
假设行为准则已经学习好了，那么每一次决策会得到如下的Q表，总是会选择值更大的行为作为下一步的动作。

如何更新Q表呢？

下面是算法伪代码：

下面是对衰减值γ\gammaγ理解，首先将Q(S1)拆分为与后续行为相关的式子，然后考虑极端值，如果γ=1\gamma=1γ

			
		

	





	

		

			

				
					
【强化学习】常用算法之一 “Q-learning”

				
			

			

				

					Code_and516的博客
				

				

					06-27
					
					2740
					
				

			

		

		

			
				
Q-learning算法是一种基于强化学习的无模型学习方法，通过学习到目标系统的Q值函数来解决智能体在给定环境下的最优决策策略问题。Q-learning算法是基于后验策略方法，即学习出目标系统的价值函数Q之后，通过使用某种策略来最大化该价值函数，称之为后验策略。Q-learning算法是偏差-方差权衡的算法，在偏差较高的情况下可以在基于模型的强化学习中找到一个接近最优策略的解决方案。同时它也具有较高的收敛速度和广泛的适用性，因为其只需要存储一个值函数，不需要存储模型。

			
		

	





	

		

			

				
					
Qlearning算法（理论+实战）

				
			

			

				

					qq_43703185的博客
				

				

					03-08
					
					4114
					
				

			

		

		

			
				
原文链接：https://zhuanlan.zhihu.com/p/110410276
Qlearning的基本思路回顾在上一篇，我们了解了Qlearning和SARSA算法的基本思路和原理。 张斯俊：[理论篇]怎样直观理解Qlearning算法？229 赞同 · 33 评论文章这一篇，我们以tensorflow给出的强化学习算法示例代码为例子，看看Qlearning应该如何实现。 https://github.com/tensorlayer/tensorlayer/blob/master/examples

			
		

	





	

		

			

				
					
Q-learning算法介绍

				
			

			

				

					ningmengzhihe的博客
				

				

					04-07
					
					2438
					
				

			

		

		

			
				
Q-learning算法原理

			
		

	





	

		

			

				
					
qlearning算法_强化学习系列Q Learning

				
			

			

				

					weixin_39877805的博客
				

				

					11-26
					
					956
					
				

			

		

		

			
				
上一篇介绍了强化学习的一些基本概念强化学习系列--概念介绍(Introduction to Reinforcement Learning)，今天我们讲解一个简单且经典的强化学习算法：Q-Learning。背景按照不同分类标准，Q Learning可以被分为：model-free，off-policy，value-based，TD等类别。Q Learning算法思想主要是去学习一个纵坐标为...

			
		

	





	

		

			

				
					
用es的painless语法 实现按数组中第一个元素的a属性进行排序

				
			

			

				

					06-13
				

			

		

		

			
				
这个脚本首先获取到 `your_array_field` 的所有值，然后按照 `a` 属性进行排序，最后返回排序后的第一个元素的 `a` 属性值作为排序依据。  注意：在使用这个脚本时，需要将 `your_index` 和 `your_array_field` 替换...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值