强化学习之 Qlearning

最新推荐文章于 2024-08-15 01:55:01 发布

努力学好人工智能

最新推荐文章于 2024-08-15 01:55:01 发布

阅读量284

点赞数

分类专栏：强化学习文章标签： python pandas 开发语言

本文链接：https://blog.csdn.net/lsy888898/article/details/126042589

版权

强化学习专栏收录该内容

8 篇文章 0 订阅

订阅专栏

这个博客介绍了如何实现Q学习表格，一个强化学习算法的基础组件。它包括了初始化、选择动作、学习和检查状态等功能，用于在环境中学习最优策略。代码主要使用numpy和pandas库，展示了如何在Python中构建和更新Q表。

摘要由CSDN通过智能技术生成

import numpy as np
import pandas as pd

class QLearningTable:
	def __init__(self, actions, learning_rate=0.01, reward_decay=0.9, e_greedy=0.9):
		self.actions = actions
		self.lr = learning_rate
		self.gamma = reward_decay
		self.epsilon = e_greedy
		self.q_table = pd.DataFrame(columns=self.actions, dtype=np.float64)

	def choose_action(self, observation):
		self.check_state_exist(observation)
		if np.random.uniform() < self.epsilon:
			state_action = self.q_table.loc[observation,:]
			action = np.random.choice(state_action[state_action==np.max(state_action)].index)
		else:
			action = np.random.choice(self.actions)
		return action

	def learn(self, s, a, r, s_):
		self.check_state_exist(s_)
		q_predict = self.q_table.loc[s, a]
		if s_ != 'terminal':
			q_target = r + self.gamma*self.q_table.loc[s_, :].max()
		else:
			q_target = r
		self.q_table.loc[s, a] += self.lr*(q_target-q_predict)

	def check_state_exist(self, state):
		if state not in self.q_table.index:
			self.q_table = self.q_table.append(pd.Series([0]*len(self.actions),index=self.q_table.columns,name=state))