Qlearning java实现（含选择策略）

最新推荐文章于 2022-06-18 18:35:12 发布
最新推荐文章于 2022-06-18 18:35:12 发布
阅读量3.2k 收藏 5
点赞数
分类专栏： java 增强学习算法 QLearning 文章标签： QLearning 增强学习 rf softmax E-greedy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yourijing/article/details/52729494
版权

Q例子参考自：  http://blog.csdn.net/pi9nc/article/details/27649323

Qlearning 选则策略：

1、 E-greedy

   int getNextActionE_Greedy(int state)
     {
     	int selectAction = -1;
     	boolean random= false;
     	double maxQ = -50000;
     	int[] doubleValues = new int[st.actionLength];
     	for(int i = 0;i < st.actionLength;i++)
     	{
     		doubleValues[i] = 0;
     	}
     	int maxDV = 0;
     	double selectPossbility = proRandomNumber.nextDouble();
     	
     	if(selectPossbility < st.epsilon)
     	{
     		selectAction = -1;
     		random = true;
     	}
     	else
     	{
     		for(int action = 0;action < st.actionLength;action ++)
     		{
     			// 如果发现值相同的多个就记录下来
     			if(st.qValues[state][action]> maxQ)
     			{
     				selectAction = action;
     				maxQ = st.qValues[state][action];
     				maxDV = 0;
     				doubleValues[maxDV] = selectAction;
     			}
     			else if(st.qValues[state][action] == maxQ)
     			{
     				maxDV++;
     			    doubleValues[maxDV] = action; 
     			}
     		}
     		if( maxDV > 0 ) 
     		{
     			
     			int randomIndex =proRandomNumber.nextInt(maxDV+1);
     			selectAction = doubleValues[randomIndex];
     		}
     	}
     	if(selectAction == -1)
     	{
     		selectAction = proRandomNumber.nextInt(st.actionLength);
     	}
     	
     	while(!validAction(state,selectAction))
     	{
     		selectAction = proRandomNumber.nextInt(st.actionLength);;
     	}
        return selectAction;
     }
2、softMax 

  int getNextActionE_SoftMax(int state)
     {
    <span style="white-space:pre">	</span>int softmaxDiv = 1;
     <span style="white-space:pre">	</span>int selectAction = -1;
     <span style="white-space:pre">	</span>double[] prob = new double[st.actionLength];
     <span style="white-space:pre">	</span>double sumProb = 0;
     <span style="white-space:pre">	</span>int action_softmax;
     <span style="white-space:pre">	</span>for(action_softmax = 0 ; action_softmax < st.actionLength ; action_softmax ++ )
     <span style="white-space:pre">	</span>{
     <span style="white-space:pre">		</span>if(validAction(state, action_softmax) == false){
     <span style="white-space:pre">			</span>prob[action_softmax] = 0;
     <span style="white-space:pre">			</span>continue;
     <span style="white-space:pre">		</span>}
     <span style="white-space:pre">		</span>else{
<span style="white-space:pre">	</span>     <span style="white-space:pre">		</span>double temp =1.0 * (st.qValues[state][action_softmax] / softmaxDiv);
<span style="white-space:pre">	</span>     <span style="white-space:pre">		</span>prob[action_softmax] = Math.exp(temp);
<span style="white-space:pre">	</span>     <span style="white-space:pre">		</span>sumProb += prob[action_softmax];
     <span style="white-space:pre">		</span>}
     <span style="white-space:pre">	</span>}
     <span style="white-space:pre">	</span>for(action_softmax = 0 ; action_softmax <  st.actionLength ; action_softmax ++ ){
     <span style="white-space:pre">		</span>if(validAction(state, action_softmax) == false){
     <span style="white-space:pre">			</span>continue;
     <span style="white-space:pre">		</span>}
     <span style="white-space:pre">	</span>    prob[action_softmax] = prob[action_softmax] / sumProb;
     <span style="white-space:pre">	</span>}
        boolean valid = false;
     <span style="white-space:pre">	</span>while(valid == false)
     <span style="white-space:pre">	</span>{
     <span style="white-space:pre">		</span>double rndValue;
      <span style="white-space:pre">		</span>double offset;
     <span style="white-space:pre">		</span>rndValue =proRandomNumber.nextDouble();
     <span style="white-space:pre">		</span>offset = 0;
     <span style="white-space:pre">		</span>for(action_softmax = 0 ; action_softmax <  st.actionLength ; action_softmax ++ ) 
     <span style="white-space:pre">		</span>{
     <span style="white-space:pre">			</span>//好好理解下
     <span style="white-space:pre">			</span>if(validAction(state, action_softmax) == false){
         <span style="white-space:pre">			</span>continue;
         <span style="white-space:pre">		</span>}
     <span style="white-space:pre">			</span>if( rndValue > offset && rndValue < (offset + prob[action_softmax]))
     <span style="white-space:pre">				</span>selectAction = action_softmax;
     <span style="white-space:pre">			</span>offset += prob[action_softmax];
     <span style="white-space:pre">		</span>}
     <span style="white-space:pre">		</span>//监测行为是否能够到达
     <span style="white-space:pre">		</span>if(this.validAction(state, selectAction))
     <span style="white-space:pre">		</span>{
     <span style="white-space:pre">			</span>valid = true;
     <span style="white-space:pre">		</span>}
     <span style="white-space:pre">		</span>break;
     <span style="white-space:pre">	</span>}
     <span style="white-space:pre">	</span>return selectAction;
     }
验证状态的正确性 

     boolean validAction(int state,int action)
     {
    	boolean ret = true;
     	if(action < 0 || action > 5)
     		ret = false;
     	if(st.reward[state][action] < 0)
     		ret = false;
     	return ret;
     }
进行训练 

void qLearningTrain(long time)
     {
    	 int count = 0;
    	 int initState = proRandomNumber.nextInt(st.actionLength);;
     	 do
     	 {
     		  double this_Q;
     	      double max_Q;
     	      double new_Q;
     	      double reward = 0;
              //int nextAction =  proRandomNumber.nextInt(st.actionLength);
              int nextAction = getNextActionE_SoftMax(initState);
//              while(!validAction(initState,nextAction)){
//            	  nextAction =  proRandomNumber.nextInt(st.actionLength);
//              }
     	      reward = st.getReward(initState, nextAction);
     	      this_Q = st.getqValues(initState, nextAction);
     	      max_Q = st.getMaxQValues(nextAction);
     	     // new_Q = reward + (st.alpha) * (max_Q);
     	      new_Q = reward + (st.alpha) * (reward + (st.gamma) * max_Q - this_Q);
     	      st.setqValues(initState, nextAction, new_Q);
     	      initState = nextAction;
     	      
     	 }while(initState != 5);
     }
代码参考 ：http://pan.baidu.com/s/1c1VTuyG



临江别寄
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Q-Learning算法 Matlab代码实现
11-28
一个简单的Q-Learning算法的综合示例，可以在Matlab仿真平台上实现。
强化学习（二）：Q learning 算法
zhm2229的专栏
08-13 2万+
强化学习（一）：基础知识 强化学习（二）：Q learning算法 Q learning 算法是一种value-based的强化学习算法，Q是quality的缩写，Q函数 Q(state，action)表示在状态state下执行动作action的quality， 也就是能获得的Q value是多少。算法的目标是最大化Q值，通过在状态state下所有可能的动作中选择最好的动作来达到最大化期望re...
java实现qlearning,DQN（Deep Q-learning）入门教程（一）之强化学习介绍
weixin_30054883的博客
03-11 972
什么是强化学习？强化学习(Reinforcement learning，简称RL)是和监督学习，非监督学习并列的第三种机器学习方法，如下图示：首先让我们举一个小时候的例子：你现在在家，有两个动作选择：打游戏和读书。如果选择打游戏的话，你就跑到了网吧，选择读书的话，就坐在了书桌面前。你爸妈下班回家，如果发现你在网吧，就会给你一套社会主义的铁拳，如果你在书桌面前的话，就会买根棒棒糖给你吃。首先，你在家...
【强化学习】Q-Learning算法求解迷宫寻路问题 + Java代码实现
热门推荐
知不足而奋进，望远山而前行
11-26 2万+
相信大多数小伙伴应该和我一样，之前在学习强化学习的时候，一直用的是Python，但奈何只会用java写后端，对Python的一些后端框架还不太熟悉，（以后要集成到网站上就惨了），于是就想用Java实现一下强化学习中的Q-Learning算法，来搜索求解人工智能领域较热门的问题—迷宫寻路问题。（避免以后要用的时候来不及写）。下面仅对Q-Learning算法对简单介绍Q学习是一种异策略（off-policy）算法。目标策略（target policy）和行为策略（behavior policy）。
java实现qlearning,Qlearning java实现（含选择策略）
weixin_42467373的博客
03-11 236
Q例子参考自： http://blog.csdn.net/pi9nc/article/details/27649323Qlearning 选则策略：1、 E-greedyint getNextActionE_Greedy(int state){int selectAction = -1;boolean random= false;double maxQ = -50000;int[] double...
java设计模式之策略模式的优雅实现
zhaojun20161206的博客
12-28 4720
前言 策略模式是开发中常用的一种设计模式，主要解决在有多种算法相似的情况下，使用 if...else 所带来的复杂和难以维护的问题。看了网上很多关于策略模式的上下文切换类实现都不甚优雅，故而想总结分享一篇自我感觉比较优雅的处理方式，方便大家一起学习。 方式一：使用@PostConstruct初始化到map中 该方式是比较常用的，相对比较优雅，能满足动态获取不同实现类的功能。废话不多说直接上代...
java实现qlearning,增强学习Q-learning分析与演示（入门）
weixin_35282782的博客
03-11 371
一些说明、参阅问题提出为了实现自走的路径，并尽量避免障碍，设计一个路径。如图所示，当机器人在图中的任意网格中时，怎样让它明白周围环境，最终到达目标位置。这里给出一个运行结果：首先给他们编号如下：作为位置的标识。然后利用Q-Learning的奖赏机制，完成数据表单更新，最终更新如下:在机器人实际选择路径时，按照该表中的最大值选择，最终走到24号位置，并避开了红色方块。如初始位置在4时候，首先选择了最...
python实现Q Learning强化学习(完整代码).zip
01-18
由于现实世界中并不能获取全部的state以及全部的action，因此值迭代方法在很多问题上还是会有局限性。这时用到的就是Q Learning方法了
Qlearning算法训练智能体走迷宫
04-22
这是一个22*22的迷宫，通过QLearning算法训练智能体走迷宫。包括迷宫文件、QLearning算法文件、主程序调用文件，无需调试，打开就能跑
Q-learning_Q-learning_
10-01
完成一个基于q-learning算法的简单寻径实例
用Q-learning算法实现自动走迷宫机器人的方法示例
09-19
主要介绍了用Q-learning算法实现自动走迷宫机器人的方法示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Java23种设计模式之第二弹-策略模式
weixin_44735933的博客
06-18 685
设计模式
强化学习Q learning算法最简单的入门（含java实现的小例子）
L__ear的博客
01-07 5550
强化学习 强化学习和遗传算法优胜劣汰的思想类似，通过奖惩机制不断强化好的行为，弱化坏的行为。什么是好的行为，什么是坏的行为，这跟你要解决的具体问题有关，比如路径规划问题，走距离目标点较近的路线就是好的行为，走距离目标点较远的路线就是坏的行为。 强化学习包含四要素：agent、环境状态、行为和奖励，目标是获得最多的累计奖励。 Q learning Q learning 融合了马尔科夫过程和动态规划，...
Q-learning简明实例Java代码实现
weixin_30791095的博客
09-09 331
在《Q-learning简明实例》中我们介绍了Q-learning算法的简单例子，从中我们可以总结出Q-learning算法的基本思想 本次选择的经验得分 = 本次选择的反馈得分 + 本次选择后场景的历史最佳经验得分 其中反馈得分是单个步骤的价值分值（固定的分值），经验得分是完成目标的学习分值（动态的分值）。 简明实例的Java实现如下 package com.coshaho.lear...
代码实现Q-learning
飛鹰
08-12 4951
深度学习Q—learning Q矩阵的更新基本公式如下： Q_new（state，action）=(1-alpha)Q(state,action)+ alpha(R(state,action)+gamma*max*Q(stae_next,action_next)) 以10X10矩阵为例代码实现为： import pandas as pd import numpy as n...
【强化学习】Q-Learning原理及代码实现
shankezh的博客
11-01 5555
最近工作是在太忙了，996不遑多让，无奈，也没空更新博客，职业上也从研发变成了产品，有小半年没写代码了，怕自己手生的不行，给自己两天时间，写了点东西，之前做搞机器学习，搞深度学习，但一直对依赖全场景数据喂模型的方向有点感冒，因为数据又贵又难搞全，企业靠这个发家有点难，且本身需要企业具有很大的体量，另收集数据-训练-部署三板斧就当做AI的自进化说法感觉有点勉强，不谈特定场景妄图一个A...
q-learning精讲
weixin_41697507的博客
02-07 1万+
Q-learning Q-learning是一种用于机器学习的强化学习技术。 Q-learning的目标是学习一种策略，告诉Agent在什么情况下要采取什么行动。 它不需要环境模型，可以处理随机转换和奖励的问题，而无需进行调整。 对于任何有限马尔可夫决策过程（FMDP），Q学习找到一种最优的策略，即从当前状态开始，它在任何和所有后续步骤中最大化总奖励的预期值。在给定无限探索时间和部分随机策略的情况...
Q-learning 理解以及简单实现
zjm750617105的专栏
05-12 1万+
强化学习（reinforcement learning）的过程，强化学习中有状态(state)、动作(action)、奖赏(reward)这三个要素。 智能体需要根据当前状态来采取动作，获得相应的奖赏之后，再去改进这些动作，使得下次再到相同状态时，智能体能做出更优的动作。 下面以一个综合全面的例子来理解Q-learning的过程。 http://mnemstudio.org/path-f...
Q-Learning的学习及简单应用
mvksfg的博客
05-27 7947
强化学习（Reinforcement Learning）是一种机器学习算法，强调如何基于环境而行动，以取得最大化的预期利益，在机器人领域应用较为广泛。Q-Learning属于强化学习的经典算法，用于解决马尔可夫决策问题。
python编写qlearning算法实现及完整源码
最新发布
12-21
Q-learning是一种基于反馈的强化学习算法，根据动作的奖励值来调整行为策略。Python是一种流行的编程语言，能够轻松实现Q-learning算法。 以下是一个简单的Q-learning算法的Python代码示例： ```python import numpy as np #定义Q-learning函数 def q_learning(env, num_episodes, alpha, gamma, epsilon): # 初始化Q-table Q = np.zeros((env.observation_space.n, env.action_space.n)) # Q-learning算法 for episode in range(num_episodes): state = env.reset() done = False while not done: # 选择动作 if np.random.uniform(0, 1) < epsilon: action = env.action_space.sample() else: action = np.argmax(Q[state, :]) # 执行动作 next_state, reward, done, _ = env.step(action) # 更新Q值 Q[state, action] = Q[state, action] + alpha * (reward + gamma * np.max(Q[next_state, :]) - Q[state, action]) state = next_state return Q #使用Q-learning算法 import gym # 创建环境 env = gym.make('Taxi-v3') # 初始化参数 num_episodes = 1000 alpha = 0.1 gamma = 0.9 epsilon = 0.1 # 运行Q-learning算法 Q = q_learning(env, num_episodes, alpha, gamma, epsilon) # 打印最终的Q-table print(Q) ``` 这是一个简单的Q-learning算法的Python实现示例，包括Q-learning函数的定义以及使用该函数对Taxi环境进行训练并打印最终的Q-table。通过这个示例代码，可以了解Q-learning算法的基本实现流程和Python代码编写方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值