第2关：有模型策略迭代参考

最新推荐文章于 2024-07-23 16:23:28 发布

hesuqq

最新推荐文章于 2024-07-23 16:23:28 发布

阅读量585

点赞数 28

文章标签：人工智能

本文链接：https://blog.csdn.net/hs2254406096/article/details/139868447

版权

任务描述

本关任务：编写一个能实现有模型策略迭代的小程序。

编程要求

根据提示，在右侧编辑器补充代码，实现案例：冰面滑行，冰面滑行问题（FrozenLake-v0）是扩展库 Gym 里内置的一个文本环境任务。该问题的背景是这样的：在一个大小为的湖面上，有些地方结冰了，有些地方没有结冰。这个环境的状态空间有 16 个不同的状态{s0,s1,s2,...,s15}，表示当前处在哪一个位置；动作空间有 4 个不同的动作{a0,a1,a2,a3}。

import numpy as np
import gym
env = gym.make('FrozenLake-v0')
env = env.unwrapped


# 用策略执行一个回合
def play_policy(env, policy, render=False):
    total_reward = 0.
    observation = env.reset()
    while True:
        if render:
            env.render()
        action = np.random.choice(env.action_space.n, p=policy[observation])
        observation, reward, done, _=env.step(action)
        total_reward += reward
        if done:
            break
    return total_reward

# 求随机策略的期望奖励
random_policy = np.ones((env.unwrapped.nS, env.unwrapped.nA))/env.unwrapped.nA
episode_rewards = [play_policy(env, random_policy) for _ in range(100)]
print('随机策略 平均奖励：{}'.format(np.mean(episode_rewards)))

# 策略评估的实现
def v2q(env, v, s=None, gamma=1.):
    if s is not None:
        q = np.zeros(env.unwrapped.nA)
        for a in range(env.unwrapped.nA):
            for prob, next_state,reward,done in env.unwrapped.P[s][a]:
                q[a] += prob * (reward + gamma * v[next_state] * (1. - done))
    else:
        q = np.zeros((env.unwrapped.nS, env.unwrapped.nA))
        for s in range((env.unwrapped.nS)):
            q[s] = v2q(env, v, s, gamma)
    return q

def evaluate_policy(env, policy, gamma=1., tolerant=1e-6):
    v = np.zeros(env.unwrapped.nS)
    while True:
        delta = 0
        for s in range(env.unwrapped.nS):
            vs = sum(policy[s] * v2q(env, v, s, gamma))
            delta = max(delta, abs(v[s]-vs))
            v[s] = vs
        if delta < tolerant:
            break
    return v

# 对随机策略进行策略评估
print('状态价值函数：')
v_random = evaluate_policy(env, random_policy)
print(v_random.reshape(4, 4))

print('动作价值函数：')
q_random = v2q(env, v_random)
print(q_random)

# 策略改进函数的实现
###### Begin ######
def improve_policy(env, v, policy, gamma=1.):
    stable = True
    for s in range(env.unwrapped.nS):
        old_action = np.argmax(policy[s])
        action_values = v2q(env, v, s, gamma)
        best_action = np.argmax(action_values)
        if old_action != best_action:
            stable = False
        new_policy = np.eye(env.unwrapped.nA)[best_action]
        policy[s] = new_policy
    return stable


###### End ######


# 对随机策略进行策略改进
policy = random_policy.copy()
optimal = improve_policy(env, v_random, policy)
if optimal:
    print('无更新，最优策略为：')
else:
    print('有更新，更新后的策略为：')
print(policy)

# 策略迭代函数的实现
###### Begin ######
def iterate_policy(env, gamma=1., tolerant=1e-6):
    policy = np.ones((env.unwrapped.nS, env.unwrapped.nA)) / env.unwrapped.nA
    while True:
        v = evaluate_policy(env, policy, gamma, tolerant)
        stable = improve_policy(env, v, policy)
        if stable:
            break
    return policy, v    



###### End ######


# 利用策略迭代求解最优策略
policy_pi, v_pi = iterate_policy(env)
print('状态价值函数 =')
print(v_pi.reshape(4, 4))
print('最优策略 =')
print(np.argmax(policy_pi, axis=1).reshape(4, 4))

hesuqq

关注

28
点赞
踩
18

收藏

觉得还不错? 一键收藏
0
评论
第2关：有模型策略迭代参考

对于一个确定性策略 π，如果存在着s∈S,a∈A, 使得qπ(s,a)>vπ(s),那么我们可以构造一个新的确定策略π',它在状态 s 做动作 a ,而在除状态 s 以外的状态的动作都和策略 π 一样。策略改进（policy improvement）：对于给定的策略π，在已知其价值函数的情况下，找到一个更优的策略；策略迭代从一个任意的确定性策略策略迭代从一个任意的确定性策略 π0 开始，交替进行策略评估和策略改进。策略迭代是一种综合利用策略评估和策略改进求解最优策略的迭代方法。输入：动力系统 p。
复制链接

扫一扫