强化学习笔记（三）

最新推荐文章于 2024-05-29 14:23:25 发布
最新推荐文章于 2024-05-29 14:23:25 发布
阅读量93 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40042498/article/details/113871927
版权
  • 实现探宝者移动策略
  • 输出结果在代码下方
import numpy as np
import pandas as pd
import time

# 设置可重复显示的随机数
np.random.seed(2)

# 初始距离宝藏距离
N_STATES = 6

# 探宝者可执行操作
ACTIONS = ['left', 'right']

# 贪心策略执行比例
EPSILON = 0.9

# 学习效率
ALPHA = 0.1

# 衰减因子
LAMBDA = 0.9

# 最大回合数
MAX_EPISODES = 15

# 单步移动用时
FRESH_TIME = 0.1

# 建立 Q 表格
def build_q_table(n_states, actions):
    # 表格初始化为 0, 每个状态下均有 2 个行为可以选择
    table = pd.DataFrame(
        np.zeros((n_states, len(actions))),
        columns = actions
    )
    
    # 显示表格
    print(table)

    # 返回表格
    return table

# 选取行为
def choose_action(state, q_table):
    # 抽取 Q 表格中状态为 state 的一行
    state_actions = q_table.iloc[state, :]

    # 10% 随机选择 (初始状态也随机选择)
    if (np.random.uniform() > EPSILON) or (state_actions.all() == 0):
        # 随机选择
        action_name = np.random.choice(ACTIONS)
    # 90% 选择最优策略
    else:
        # 最优策略
        action_name = state_actions.idxmax()
    
    # 返回选择
    return action_name

# 获取环境返回数值
def get_env_feedback(S, A):
    # 向右
    if A == 'right':
        # 到达终点
        if S == N_STATES - 2:
            S_ = 'terminal'
            R = 1
        # 未到终点
        else:
            S_ = S + 1
            R = 0
    # 向左
    else:
        # 到达起点
        if S == 0:
            S_ = S
            R = 0
        # 未到起点
        else:
            S_ = S - 1
            R = 0

    # 返回下一个状态和奖励
    return S_, R

# 更新环境并实现可视化
def update_env(S, episode, step_counter):
    # 环境初始状态
    env_list = ['-'] * (N_STATES - 1) + ['T']

    # 到达终点
    if S == 'terminal':
        interaction = 'Episode %s: total_steps = %s' % (episode + 1, step_counter)
        # 显示当前状态
        print('\r{}'.format(interaction), end='')

        # 延时
        time.sleep(2)
        # print('\r                              ', end='')

    # 未到达终点
    else:
        # 当前位置
        env_list[S] = 'o'
        interaction = ''.join(env_list)
        print('\r{}'.format(interaction), end='')

        # 延时
        time.sleep(FRESH_TIME)

# 强化学习
def rl():
    # 建立表格
    q_table = build_q_table(N_STATES, ACTIONS)

    # 回合循环
    for episode in range(MAX_EPISODES):
        # 步数初始化
        step_counter = 0
        # 位置初始化
        S = 0
        # 终点标识符初始化
        is_terminated = False
        # 环境初始化
        update_env(S, episode, step_counter)

        # 到达终点停止循环
        while not is_terminated:
            A = choose_action(S, q_table)
            S_, R = get_env_feedback(S, A)

            # Q 估计值 
            q_predict = q_table.loc[S, A]

            # 未到达终点
            if S_ != 'terminal':
                # Q 实际值
                q_target = R + LAMBDA * q_table.iloc[S_, :].max()

            # 到达终点
            else:
                # Q 实际值
                q_target = R
                
                # 标志位更新
                is_terminated = True
            
            # 更新 Q 表格
            q_table.loc[S, A] += ALPHA * (q_target - q_predict)

            # 状态位置更新
            S = S_

            # 显示环境
            update_env(S, episode, step_counter + 1)

            # 步数更新
            step_counter += 1

        # 显示当前 Q 表格
        print('\r\nQ-table:')
        print(q_table)

    # 返回最终的 Q 表格
    return q_table

# 主函数
if __name__ == "__main__":
    q_table = rl()
  • 输出结果
   left  right
0   0.0    0.0
1   0.0    0.0
2   0.0    0.0
3   0.0    0.0
4   0.0    0.0
5   0.0    0.0

Episode 1: total_steps = 38
Q-table:
   left  right
0   0.0    0.0
1   0.0    0.0
2   0.0    0.0
3   0.0    0.0
4   0.0    0.1
5   0.0    0.0

Episode 2: total_steps = 28
Q-table:
       left     right
0  0.000000  0.000000
1  0.000000  0.000000
2  0.000000  0.001539
3  0.000073  0.017100
4  0.000810  0.190000
5  0.000000  0.000000

Episode 3: total_steps = 6
Q-table:
       left     right
0  0.000000  0.000000
1  0.000000  0.000139
2  0.000000  0.002924
3  0.000073  0.032490
4  0.000810  0.271000
5  0.000000  0.000000

Episode 4: total_steps = 7
Q-table:
       left     right
0  0.000000  0.000012
1  0.000000  0.000612
2  0.000035  0.005556
3  0.000073  0.053631
4  0.000810  0.343900
5  0.000000  0.000000

Episode 5: total_steps = 6
Q-table:
       left     right
0  0.000001  0.000066
1  0.000000  0.001051
2  0.000035  0.009827
3  0.000073  0.079219
4  0.000810  0.409510
5  0.000000  0.000000

Episode 6: total_steps = 5
Q-table:
       left     right
0  0.000001  0.000154
1  0.000000  0.001830
2  0.000035  0.015974
3  0.000073  0.108153
4  0.000810  0.468559
5  0.000000  0.000000

Episode 7: total_steps = 5
Q-table:
       left     right
0  0.000001  0.000304
1  0.000000  0.003085
2  0.000035  0.024110
3  0.000073  0.139508
4  0.000810  0.521703
5  0.000000  0.000000

Episode 8: total_steps = 7
Q-table:
       left     right
0  0.000001  0.000773
1  0.000050  0.004946
2  0.000035  0.034255
3  0.000073  0.172510
4  0.000810  0.569533
5  0.000000  0.000000

Episode 9: total_steps = 5
Q-table:
       left     right
0  0.000001  0.001141
1  0.000050  0.007535
2  0.000035  0.046355
3  0.000073  0.206517
4  0.000810  0.612580
5  0.000000  0.000000

Episode 10: total_steps = 5
Q-table:
       left     right
0  0.000001  0.001705
1  0.000050  0.010953
2  0.000035  0.060306
3  0.000073  0.240998
4  0.000810  0.651322
5  0.000000  0.000000

Episode 11: total_steps = 7
Q-table:
       left     right
0  0.000001  0.003254
1  0.000271  0.015285
2  0.000035  0.075966
3  0.000073  0.275517
4  0.000810  0.686189
5  0.000000  0.000000

Episode 12: total_steps = 5
Q-table:
       left     right
0  0.000001  0.004305
1  0.000271  0.020594
2  0.000035  0.093166
3  0.000073  0.309722
4  0.000810  0.717570
5  0.000000  0.000000

Episode 13: total_steps = 7
Q-table:
       left     right
0  0.000001  0.005728
1  0.000271  0.032612
2  0.002454  0.111724
3  0.000073  0.343331
4  0.000810  0.745813
5  0.000000  0.000000

Episode 14: total_steps = 5
Q-table:
       left     right
0  0.000001  0.008090
1  0.000271  0.039406
2  0.002454  0.131451
3  0.000073  0.376121
4  0.000810  0.771232
5  0.000000  0.000000

Episode 15: total_steps = 5
Q-table:
       left     right
0  0.000001  0.010827
1  0.000271  0.047296
2  0.002454  0.152157
3  0.000073  0.407920
4  0.000810  0.794109
5  0.000000  0.000000
wiger321
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
强化学习笔记和学习材料
01-02
本压缩包文件"768.rl_learn__applenob"可能包含了关于强化学习的详细笔记和学习材料，这对于深入理解和掌握强化学习的概念、算法及其应用至关重要。以下是一些强化学习的主要知识点： 1. 强化学习的基本概念：强化...
强化学习笔记（1）
01-06
强化学习与监督学习的区别： （1）训练数据中没有标签，只有奖励函数（Reward Function）。 （2）训练数据不是现成给定，而是由行为（Action）获得。 （3）现在的行为（Action）不仅影响后续训练数据的获得，也影响...
强化学习——学习笔记
qq_52302919的博客
05-27 1693
强化学习问题通常可以建模为一个马尔可夫决策过程，包括以下几个要素：1、状态集合 (State Set)：S；2、动作集合 (Action Set)：A；Ps′∣saPs′∣sa，描述在状态s下执行动作a后转移到状态s′s^′s′的概率；Rsas′Rsas′，描述在状态s 下执行动作a并转移到状态s′后获得的奖励。πa∣sπ (a∣s)πa∣s，描述智能体在状态s下选择动作a 的概率。
安全强化学习笔记
无无
01-12 1446
安全强化学习
分层强化学习 学习笔记
bobi的博客
05-17 1915
MLSH的idea很自然，简单有效，temporal abstraction的做法和common 的 HRL方法基本一致需要注意的一点是，通常single task中，为了training的稳定性，会keep master policy random，warmup subpolicy，这是希望master policy能在subpolicy有一定level之后，再进行有效learning；
强化学习学习笔记
mossfan的博客
09-16 1803
强化学习笔记
强化学习笔记
wangmengmeng99的博客
03-24 3110
在随机环境中只有数量有限的样本会被观察到，或者模型通过泛化能力较差的函数来近似的，又或者仅仅因为环境发生改变且新的动态特性尚未被观察到，模型都可能不正确，从而导致规划过程中得到次优的策略。某些情况下，规划计算出的次优策略会使我们很快发现并修正模型错误。这种情况往往比较“乐观”，模型就会倾向于预测出比真实可能情况更大的收益或更好的状态转移，规划得出的策略会尝试开发这些机会，这样智能体就很快发现这些机会根本不存在，于是感知到模型的错误，继而修正错误。 探索和开发之间的矛盾。在“规划”语境中，“试探”意味着尝试
强化学习笔记总目录
chenxy_bwave的专栏
12-04 7833
强化学习自学笔记，主要基于Sutton-RLbook-2020。除了概念学习外，力争以自主手撕python的代码的方法将书中所提及的所有算法全部实现一遍。
强化学习笔记： 应用举例
qq_40206371的博客
06-05 1247
这里举几个RL的应用场景（当然有更多的） 对我们这20个卷积层 ，依次生成每一层的卷积核数量、卷积核大小、步长大小。在 RNN 运 行 60 步之后，得到 60 个超参数，也就确定了 20 个卷积层的结构。 然后可以用REINFORCE算法更新策略网络参数θ强化学习笔记：policy learning_UQI-LIUWJ的博客-CSDN博客 https://faculty.cc.gatech.edu/~jarulraj/courses/8803-f18/papers/seq2sql.pdf...
强化学习——学习笔记3
qq_52302919的博客
05-29 1867
先上图：在上述流程图中所说的Q表即为下表：假设我们在玩一个小游戏，该游戏有上下左右不同的动作，同时也会有不同的状态，比如游戏结束等。Q表也可以称为状态-价值函数QsaQ(s,a)Qsa：这个表格的每一行代表每个 state上述例子中的游戏结束等，每一列代表每个 action上述例子中的上下左右，表格的数值就是在各个 state 下采取各个 action 时能够获得的最大的未来期望奖励。
强化学习笔记：强化学习的约束
qq_40206371的博客
06-05 3706
再举几个例子。AlphaGo Zero 用了 2 千 9 百万局自我博弈，每一局约有 100 个状态和动作。TD3 算法 在 MuJoCo 物理仿真环境中训练 Half-Cheetah、Ant、Hopper 等模拟机器人，虽然只有几个关节需要控制，但是在样本数量 100 万时尚未收敛。甚至 连 Pendulum、Reacher 这种只有一两个关节的最简单的控制问题，TD3 也需要超过 10 万 个样本。 神经网络结构超参数包括层的数量、宽度、激活函数，这些都对结果有很大影响。...
强化学习笔记：熵正则
qq_40206371的博客
05-28 2696
0 策略过于确定的优劣 策略学习的目的是学出一个策略网络 用于控制智能体agent。 比如基于某一个状态s，策略网络的输出为： 那么基本上agent进行的动作就是向右了 这样过于确定性的决策有好有坏： 好处在于不容易选中很差的动作，比较安全。 坏处在于智能体就会安于现状，不去尝试没做过的动作，不去探索更多的状态，无法找到更好的策略。 1 熵正则的引入 我们希望策略网络的输出的概率不要集中在一个动作上，至少要给其他的动作一些非零的概率，让这些动作能被探索...
强化学习入门笔记.pdf
08-07
适合强化学习入门
强化学习算法笔记整理和总结
04-06
里面是我自己手写的强化学习笔记。参考自刘建平老师的强化学习博客，再加上自己的理解，通俗易懂。里面包含了强化学习model-free的经典论文（Q-learning、SARSA、TD(lambda)、DQN、DDQN、prioritized replay DQN、...
udp分片报文pcap文件
07-18
udp分片报文pcap文件：64kudp大包分成每片658字节总计100片
计算机教学导案.doc
07-18
计算机
摩根：2024年大市前瞻.pdf
最新发布
07-18
摩根：2024年大市前瞻
计算机控制专业技术专题实习任务书温度控制.doc
07-18
计算机
莫凡python强化学习笔记
10-19
莫凡Python强化学习笔记是一份由莫凡学院整理的强化学习笔记，主要包括强化学习的基础知识、算法原理、代码实现等内容。笔记中包含了Q-learning、SARSA、Deep Q Network等多种强化学习算法的详细介绍和代码实现，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值