A Painless Q-learning Tutorial (一个 Q-learning 算法的简明教程)

最新推荐文章于 2024-03-18 21:53:43 发布
转载 最新推荐文章于 2024-03-18 21:53:43 发布 · 501 阅读 · 0

本文是对Q-learning算法工作原理的一份详尽介绍。该教程通过翻译自外文网站的内容，使用通俗易懂的语言解释了Q-learning的基本概念，并通过实例帮助读者理解这一强化学习的重要算法。
部署运行你感兴趣的模型镜像 
      本文是对 http://mnemstudio.org/path-finding-q-learning-tutorial.htm 的翻译，共分两部分，第一部分为中文翻译，第二部分为英文原文。翻译时为方便读者理解，有些地方采用了意译的方式，此外，原文中有几处笔误，在翻译时已进行了更正。这篇教程通俗易懂，是一份很不错的学习理解 Q-learning 算法工作原理的材料。


 

 
 

 
 
 

 第一部分：中文翻译
 

 
 
 

 
 


 
 


                

        

    


      

        
您可能感兴趣的与本文相关的镜像

        

          

            

              Linly-Talker
            

            

              

                
Linly-Talker

                

                    
AI应用

                

              

              
Linly-Talker是一款创新的数字人对话系统，它融合了最新的人工智能技术，包括大型语言模型（LLM）、自动语音识别（ASR）、文本到语音转换（TTS）和语音克隆技术

            

          

          

            
          

        

      

  



    



                



	

		

			

				
					
《一个 Q-learning 算法的简明教程》之Python代码

				
			

			

				

					FengKuangXiaoZuo的博客
				

				

					03-03
					
					883
					
				

			

		

		

			
				
本文是对A Painless Q-learning Tutorial (一个 Q-learning 算法的简明教程)中的强化学习教程做的Python代码实现
代码框架参考【莫烦Python】强化学习 Reinforcement Learning

场景简述
一栋房子，共5个房间（最外层也看做一个房间5），目标是快速地从某个房间走出（即走到房间5）

抽象为有向图，并关联奖赏（只有通向房间5的转移有奖赏100，其他情况都为0）。

代码实现
# -*- coding: utf-8 -*-
"""
Creat.

			
		

	



                

            
              



	

		

			

				
					
Q学习算法（Q-learning）

				
			

			

				

					04-18
				

			

		

		

			
				
讲述Q学习算法基本原理，并通过几个小例子初步了解q学习算法应用。

			
		

	



              


  
              

                


	

		

			

				
					
Q Learning算法实现

				
			

			

				

					m0_52209879的博客
				

				

					03-13
					
					2000
					
				

			

		

		

			
				
Q learning 算法是一种value-based的强化学习算法，Q是quality的缩写，Q函数 Q(state，action)表示在状态state下执行动作action的quality， 也就是能获得的Q value是多少。算法的目标是最大化Q值，通过在状态state下所有可能的动作中选择最好的动作来达到最大化期望reward。Q learning算法使用Q table来记录不同状态下不同动作的预估Q值。

			
		

	





	

		

			

				
					
强化学习——Q-Leaning算法原理

					
最新发布

				
			

			

				

					qq_74722169的博客
				

				

					03-18
					
					1万+
					
				

			

		

		

			
				
是用在决策上的一个策略，以概率ε选择随机动作，以概率1-ε选择当前最优动作，比如epsilon = 0.9的时候，就说明百分之90的情况我会按照Q表的最优值选择行为，百分之10的时间随机选择行为。alpha：学习率，决定这次的误差有多少是要被学习的。学习率控制着每次更新Q值时所采用的步长。较大的学习率会导致Q值函数的快速更新，可能会使算法更快地收敛，但也可能导致不稳定性和震荡。如果学习率过大，会导致Q值函数不稳定，可能会导致算法无法收敛或者在局部最优解处震荡。

			
		

	



		

			
		



	

		

			

				
					
强化学习Q-Learning算法及实现详解

				
			

			

				

					rayylee
				

				

					10-14
					
					6034
					
				

			

		

		

			
				
本教程通过一个简单但全面的示例介绍Q-learning的概念。 该示例描述了一个使用无监督学习的过程。
假设我们在一个建筑物中有5个房间，这些房间由门相连，如下图所示。 我们将每个房间编号为0到4。建筑物的外部可以视为一个大房间（5）。 请注意，1号和4号门从5号房间（外部）通向建筑物。

我们可以在图表上表示房间，每个房间作为节点，每个门作为链接。

对于此示例，我们想在任何房间中放置一个门，然后从该房间进入建筑物外（这将是我们的目标房间）。换句话说，目标房间是5号。要将此房间设置为目标，我们会将奖励值关

			
		

	





	

		

			

				
					
random_walk.zip_Q learning_Q-learning_Q-learning、_Q算法_random wal

				
			

			

				

					07-14
				

			

		

		

			
				
在《A Painless Q-learning Tutorial》这篇教程中，作者深入浅出地介绍了Q-learning的基本概念和实现步骤。  Q-learning的目标是找到一个策略，使得在给定状态下执行该策略能够获得最大的期望累积奖励。这个策略通常...

			
		

	





	

		

			

				
					
A Painless Q learning Tutorial  一个 Q learning 算法的简明教程

				
			

			

				

					hggjgff的博客
				

				

					11-05
					
					210
					
				

			

		

		

			
				
分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！                分类：&nbs

			
		

	





	

		

			

				
					
深度强化学习研究笔记（2）——Q-learning（Q-learning问题描述，Q-table方法，一个Python小例子）

				
			

			

				

					越野者的博客
				

				

					03-16
					
					8148
					
				

			

		

		

			
				
文章目录1. Q-learning2.
1. Q-learning
Q-learning是一种典型的基于价值（Value）函数的强化学习方法，其中的Q是一个数值，通常在初始化时有可能被赋予一个任意数值（因问题场景而异），在迭代时刻ttt，我们有状态sts_tst​，此时代理做出动作ata_tat​，然后得到奖励rtr_trt​，从而进入到一个更新的状态st+1s_{t+1}st+1​，从而Q值得到...

			
		

	





	

		

			

				
					
Code for a painless q-learning tutorial

				
			

			

				

					05-14
				

			

		

		

			
				
Code for a painless q-learning tutorial

			
		

	





	

		

			

				
					
Q-learning算法

				
			

			

				

					s@dragon的博客
				

				

					10-16
					
					446
					
				

			

		

		

			
				
####Q-learnig算法  深度强化学习原理与实践   P115-11
# coding: utf-8

import gym
import numpy as np
import sys
import time
import pandas as pd
import matplotlib
from collections import defaultdict, namedtuple
from matplotlib import pyplot as plt

env = gym.make ("CartPo

			
		

	





	

		

			

				
					
Q-Learning算法

				
			

			

				

					qq_41903673的博客
				

				

					03-26
					
					3436
					
				

			

		

		

			
				
之前介绍过Sarsa算法，其是一种TD算法，目的是为了学习动作价值函数。Q-learning也是一种TD算法，目的是为了学习最优动作价值函数Q*，其实训练DQN的算法就是Q-learning。

Sarsa算法和Q-learning算法的区别：





两者的TD target略有不同。

Q-learning的TD target：



求最大化：



求完最大化后，可以消掉，得到下面的等式：



直接求期望比较困难，所以对期望进行蒙特卡洛近似，得到TD target:



Q-learning算

			
		

	





	

		

			

				
					
【Reinforcement Learning】Q-Learning算法

				
			

			

				

					我的技术栈碎碎念空间
				

				

					02-21
					
					815
					
				

			

		

		

			
				
一、什么是Q-Learning？
先举个简单的例子，假设我们正在写作业，此时可以选择继续写作业，也可以选择看电视。如果选择写作业，我们会得到奖赏，而选择看电视，就会挨打，这是不可磨灭的惨痛记忆。

Q-Learning就是这样的一个决策过程。
假设行为准则已经学习好了，那么每一次决策会得到如下的Q表，总是会选择值更大的行为作为下一步的动作。

如何更新Q表呢？

下面是算法伪代码：

下面是对衰减值γ\gammaγ理解，首先将Q(S1)拆分为与后续行为相关的式子，然后考虑极端值，如果γ=1\gamma=1γ

			
		

	





	

		

			

				
					
【强化学习】常用算法之一 “Q-learning”

				
			

			

				

					Code_and516的博客
				

				

					06-27
					
					3462
					
				

			

		

		

			
				
Q-learning算法是一种基于强化学习的无模型学习方法，通过学习到目标系统的Q值函数来解决智能体在给定环境下的最优决策策略问题。Q-learning算法是基于后验策略方法，即学习出目标系统的价值函数Q之后，通过使用某种策略来最大化该价值函数，称之为后验策略。Q-learning算法是偏差-方差权衡的算法，在偏差较高的情况下可以在基于模型的强化学习中找到一个接近最优策略的解决方案。同时它也具有较高的收敛速度和广泛的适用性，因为其只需要存储一个值函数，不需要存储模型。

			
		

	





	

		

			

				
					
Qlearning算法（理论+实战）

				
			

			

				

					qq_43703185的博客
				

				

					03-08
					
					4489
					
				

			

		

		

			
				
原文链接：https://zhuanlan.zhihu.com/p/110410276
Qlearning的基本思路回顾在上一篇，我们了解了Qlearning和SARSA算法的基本思路和原理。 张斯俊：[理论篇]怎样直观理解Qlearning算法？229 赞同 · 33 评论文章这一篇，我们以tensorflow给出的强化学习算法示例代码为例子，看看Qlearning应该如何实现。 https://github.com/tensorlayer/tensorlayer/blob/master/examples

			
		

	





	

		

			

				
					
Q-learning算法介绍

				
			

			

				

					ningmengzhihe的博客
				

				

					04-07
					
					2923
					
				

			

		

		

			
				
Q-learning算法原理

			
		

	





	

		

			

				
					
qlearning算法_强化学习系列Q Learning

				
			

			

				

					weixin_39877805的博客
				

				

					11-26
					
					1095
					
				

			

		

		

			
				
上一篇介绍了强化学习的一些基本概念强化学习系列--概念介绍(Introduction to Reinforcement Learning)，今天我们讲解一个简单且经典的强化学习算法：Q-Learning。背景按照不同分类标准，Q Learning可以被分为：model-free，off-policy，value-based，TD等类别。Q Learning算法思想主要是去学习一个纵坐标为...

			
		

	





	

		

			

				
					

				
			

			

				

					
				

			

		

		

			
				

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值