Datawhale深度强化学习基础学习-Task5心得

笔记一：JoyRL 库中的导入路径问题导致的模块无法找到错误

描述：我在使用 JoyRL 库进行强化学习实验时遇到了一系列问题。我尝试在 Acrobot-v1 环境中使用 PPO 算法，但在运行过程中遇到了多个错误。以下是我遇到的主要问题和所采取的步骤：

1. 自定义策略类的导入问题：

   • 我创建了一个自定义策略类 CustomPPOPolicy，继承自 JoyRL 的 PPO 策略类。
   • 在尝试从 joyrl.algos.PPO.policy 导入 PPO 策略类时，遇到了模块无法找到的错误。

2. JoyRL 库内部的相对导入问题：

   • 错误信息：ModuleNotFoundError: No module named 'algos'。
   • 这个问题发生在 policy.py 文件中，该文件尝试使用相对路径 from algos.base.networks import ValueNetwork, CriticNetwork, ActorNetwork 进行导入。
   • 我尝试将相对导入更改为绝对导入，但问题仍然存在。

3. 环境和配置：

   • 我的操作系统是 Windows。
   • 我使用的 JoyRL 版本是 0.4.3。
   • 我已经确认 JoyRL 库已正确安装在我的 Python 环境中。

由于这些问题，我无法成功运行我的强化学习实验。我怀疑这些问题可能与 JoyRL 库的内部导入机制有关。我希望能得到一些关于如何解决这些问题的指导，或者了解是否有必要对 JoyRL 库进行一些修改。

笔记二：实现了一个基于深度强化学习的项目，具体来说，使用了双重深度Q网络（Double Deep Q-Network，简称 DDQN）算法：

环境和算法分析

1. 环境：

   • 代码中使用了一个自定义的环境，命名为 ENV，由 ENV_Model.EVN 类创建。
   • 这个环境似乎是为某种项目管理或设计任务定制的，具有特定的规则和目标。
   • 环境的状态空间和动作空间由 n_actions、Num_x、Num_y 等参数定义，这些参数决定了环境的大小和可能的动作数量。

2. 算法：

   • 代码使用了 DDQN 算法，这是 Q-Learning 的一种变体，通过使用两个深度神经网络来减少估计值的过高估计。
   • Agent 类由 Agent_Model.Agent 创建，负责学习和决策过程。
   • 算法的关键参数包括批处理大小（batch_size）、学习间隔（learn_gap）和探索率（Agent.epsilon）。

由于时间原因，以后详细补充这部分内容，现附上部分结果：

output_100.csv：

	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16	17	18	19	20	21	22	23	24	25	26	27	28	29	30	31	32	33	34	35	36	37	38	39	40	41	42	43	44	45	46	47
0	6	6	11	5	11	9	6	5	13	6	12	2	4	4	7	3	7	2	11	6	9	5	9	6	9	5	6	5	6	5	0	0	0	0	0	0	0	0	0	0	0	0	6	5	5	11	5	6
1	1	7	2	2	7	1	11	12	2	2	8	1	7	10	11	6	12	1	7	7	7	1	8	1	7	8	7	1	10	5	10	13	13	6	13	5	8	10	9	6	9	11	12	7	4	4	4	7
2	12	4	10	11	11	5	8	4	8	10	13	6	13	11	9	12	8	2	12	8	3	7	8	2	9	12	3	10	9	6	4	10	11	13	6	6	5	13	12	10	11	11	1	10	9	13	13	9
3	10	12	10	12	2	2	8	10	12	10	11	5	7	10	12	7	10	6	12	7	10	13	9	6	12	8	10	13	11	6	7	7	8	7	8	0	10	12	8	8	7	0	7	10	13	12	7	0
4	3	8	2	8	8	7	11	9	6	13	12	7	9	5	11	13	9	13	3	3	10	12	1	7	3	3	7	8	1	7	5	11	9	12	1	10	4	8	1	7	1	7	4	7	1	8	1	8
5	1	7	3	7	10	6	6	12	3	7	10	11	4	7	3	10	9	13	11	13	6	13	5	13	10	12	4	8	0	8	13	13	11	9	11	9	12	7	8	3	10	6	7	7	8	3	10	6
6	9	6	12	0	10	9	6	11	13	6	13	11	0	8	7	4	7	7	11	13	13	5	12	7	12	7	10	5	13	12	13	13	13	11	13	9	10	13	9	9	12	4	9	13	5	5	12	4
7	7	2	8	10	11	13	10	11	12	8	7	10	7	7	10	12	7	8	13	13	13	12	7	8	10	9	12	10	12	7	13	5	9	9	9	13	8	4	4	4	4	10	12	4	4	4	4	8
8	6	11	11	9	6	12	1	7	10	6	6	9	6	13	12	4	4	4	1	8	8	4	4	4	5	13	9	6	5	6	0	8	1	1	1	1	6	9	5	6	11	5	11	6	6	5	13	11
9	5	5	13	12	8	8	5	6	13	9	9	13	3	3	7	3	3	10	5	6	12	3	3	10	1	1	8	3	3	10	6	5	13	6	11	13	4	4	8	1	8	8	11	11	12	1	7	7
10	11	6	11	13	11	5	7	1	8	10	9	6	9	5	13	12	3	3	3	3	8	7	3	3	11	5	12	10	5	11	8	4	8	7	4	8	7	4	7	7	4	7	10	11	12	10	6	9
11	9	11	6	9	5	9	6	13	5	6	11	6	4	7	3	3	8	2	6	13	6	6	12	2	3	7	4	4	10	6	11	13	5	6	13	5	12	8	1	1	8	0	13	13	5	6	9	5
12	11	13	9	9	11	6	9	13	6	5	13	6	5	12	4	4	8	1	1	7	4	4	7	1	5	9	11	6	12	1	6	6	9	5	12	1	6	5	5	6	9	5	2	2	2	2	2	2
13	1	10	6	11	13	11	11	12	4	7	7	8	7	7	4	10	9	9	7	8	4	7	1	1	10	9	11	12	1	1	7	3	8	8	1	1	9	5	13	12	1	1	3	3	10	9	11	6
14	10	13	6	9	9	13	9	9	5	6	11	12	3	3	3	3	10	13	3	3	3	3	10	13	11	11	5	11	9	12	8	10	5	9	5	13	10	9	5	5	11	12	8	0	0	0	8	8
15	8	8	3	10	11	12	12	10	6	13	9	13	13	12	0	8	3	10	12	10	5	12	3	10	8	7	3	7	3	8	9	12	3	10	11	9	6	9	5	12	8	4	11	6	6	13	12	4
16	12	1	7	8	7	1	8	1	10	13	13	5	7	1	7	7	10	11	13	5	12	8	10	13	10	6	13	12	10	12	9	6	13	9	9	12	4	4	10	11	11	9	6	5	12	8	7	2
17	9	13	13	13	9	6	1	10	9	13	6	11	6	9	11	13	6	9	3	3	7	10	6	5	11	6	9	13	11	11	13	11	5	13	9	9	10	9	11	9	5	6	8	0	10	5	6	11
18	3	8	7	4	4	4	3	8	8	4	4	4	5	12	8	4	4	4	11	9	13	6	5	11	8	3	10	5	11	12	9	6	9	5	9	9	6	6	11	6	11	11	4	4	7	0	8	10
19	5	13	5	12	2	8	6	12	1	10	5	9	1	10	11	12	1	1	6	9	9	12	1	1	0	0	0	8	1	1	5	5	11	12	1	1	3	3	7	10	11	6	3	3	10	12	10	11
20	4	10	9	9	13	11	4	7	0	0	8	7	4	10	5	11	12	8	4	10	11	9	13	13	5	12	10	11	9	13	5	12	8	10	6	9	0	7	8	8	3	3	5	9	9	9	6	5
21	0	8	0	0	7	3	5	9	11	5	13	6	3	3	10	5	13	6	3	3	7	3	7	1	3	3	7	3	10	5	11	11	12	3	8	2	13	12	8	3	7	2	13	12	10	11	13	11
22	11	11	12	8	2	2	12	8	10	12	2	2	9	9	12	10	11	5	4	4	7	10	13	5	5	11	9	12	10	6	0	7	4	10	12	2	0	10	6	9	13	6	0	8	2	2	8	0
23	10	5	9	11	9	11	13	6	5	12	4	10	8	4	4	8	4	7	8	4	4	8	4	10	13	6	11	12	4	8	9	5	13	9	6	9	3	3	7	0	0	0	3	3	10	6	6	6
24	13	6	6	6	11	13	7	0	0	0	10	12	12	0	0	0	10	9	7	0	0	0	7	1	12	0	0	0	10	11	7	0	0	0	7	7	10	6	11	5	9	12	7	2	7	0	0	10
25	5	6	5	11	9	13	5	5	5	13	5	9	5	5	6	13	6	11	2	2	2	10	6	12	5	6	11	9	6	9	6	5	9	6	5	5	1	1	1	1	1	1	1	1	1	1	1	1
26	3	8	8	0	8	4	3	7	8	0	8	4	3	7	7	0	8	4	3	8	10	6	13	5	11	13	13	5	12	4	13	13	9	6	12	4	8	7	3	3	8	4	8	7	3	3	8	4
27	7	4	4	4	7	10	7	4	4	4	10	12	12	4	4	4	8	8	10	6	5	11	13	13	9	5	11	13	12	10	5	6	9	12	10	13	2	2	2	7	8	8	6	5	5	12	8	10
28	8	4	8	4	7	8	10	5	12	4	7	7	9	6	9	6	9	12	0	0	0	0	0	10	11	11	5	11	11	13	8	7	3	7	8	10	12	7	3	10	13	13	13	13	6	13	13	9
29	1	7	8	10	11	13	1	8	10	9	12	7	5	9	13	11	12	8	5	6	9	12	10	9	2	2	2	7	8	1	5	11	5	9	13	5	2	7	4	4	7	4	5	12	4	4	10	5
30	1	7	7	3	3	8	6	13	13	11	11	9	1	8	8	7	10	5	5	12	8	8	7	2	1	8	10	12	7	2	5	13	12	10	9	11	2	7	8	7	3	7	2	8	10	9	6	12
31	12	0	7	3	8	3	10	6	9	5	12	3	12	1	1	1	7	3	9	11	5	6	13	5	1	7	1	1	8	0	11	12	1	1	7	0	9	9	6	11	12	0	5	11	5	9	9	6
32	0	10	13	5	12	2	6	12	10	11	9	6	2	8	8	10	5	5	2	7	8	7	3	3	11	12	8	10	11	5	12	7	7	8	10	6	9	12	7	7	8	2	0	8	10	13	12	2
33	7	7	0	10	12	0	7	10	11	9	9	6	8	7	10	5	5	6	9	9	13	11	11	11	1	1	7	8	8	10	5	5	9	12	8	7	11	5	5	13	9	13	10	5	11	13	6	9
34	7	4	8	2	10	9	8	4	7	2	10	11	7	4	8	2	10	12	8	4	8	2	8	10	7	4	7	2	7	7	10	11	13	6	9	12	10	13	13	5	6	9	9	13	13	6	5	5
35	1	1	10	11	5	11	6	5	9	9	11	9	0	0	0	0	7	1	5	11	11	5	9	6	11	9	9	6	6	11	9	5	5	11	5	12	11	11	6	12	3	8	10	13	5	9	6	13
36	8	3	8	0	7	4	9	11	13	6	9	6	11	9	12	3	3	3	8	2	10	5	5	11	13	6	13	6	11	12	10	5	12	3	8	10	7	3	7	3	8	10	7	3	10	11	12	8
37	5	5	9	5	9	5	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	11	11	5	5	11	5	12	10	11	6	13	11	12	10	13	5	9	13	7	8	8	4	4	10
38	1	8	1	10	12	3	6	12	1	10	12	3	4	8	1	8	8	3	5	9	5	13	13	6	6	11	6	12	7	3	3	7	1	10	9	6	6	13	6	9	5	11	3	10	5	11	5	9
39	6	13	5	6	12	0	1	10	6	6	9	5	6	13	6	11	6	6	0	7	4	8	0	0	6	12	4	7	0	0	2	10	6	12	0	0	2	10	11	13	6	5	11	13	12	7	2	2
40	2	8	10	5	5	11	5	12	7	1	1	8	3	7	7	1	1	10	5	12	10	5	11	9	6	9	12	0	7	2	11	11	9	11	12	2	13	9	11	12	8	2	12	2	7	7	7	2
41	3	3	8	4	8	10	11	11	9	11	9	12	13	9	5	12	0	7	9	6	5	12	0	10	11	5	5	9	11	13	7	0	0	0	8	8	8	0	0	0	10	12	7	0	0	0	10	9
42	3	10	9	13	13	11	3	7	4	7	10	12	3	8	4	10	12	10	3	10	5	9	13	12	3	7	3	3	7	7	6	12	3	3	10	9	2	7	3	3	7	4	11	12	3	3	10	5
43	11	6	5	11	11	13	10	6	5	9	13	12	7	1	1	1	10	12	9	6	5	6	12	7	2	2	2	2	7	10	11	5	6	5	13	9	12	0	0	0	10	5	9	11	5	5	13	5
44	5	11	12	1	8	2	0	10	12	1	10	6	11	13	12	1	10	5	12	7	8	1	10	11	12	10	12	1	7	7	7	8	10	11	13	13	8	7	10	9	13	13	12	7	10	5	9	12
45	11	13	11	11	12	2	8	10	13	13	12	2	9	12	8	10	12	2	4	8	8	7	10	5	11	9	9	9	13	11	13	11	11	5	13	13	8	7	10	5	13	13	10	13	12	2	7	10
46	13	12	2	2	10	6	12	7	2	2	10	5	13	12	2	2	8	4	8	7	2	2	7	4	8	7	2	2	7	4	8	10	11	5	13	6	12	7	10	11	9	11	7	7	8	7	1	7
47	1	7	3	8	4	4	1	10	6	12	4	4	1	8	3	8	4	4	6	9	5	13	5	6	11	6	6	12	2	2	13	5	5	12	2	2	13	11	6	13	5	5	13	13	5	13	6	11
48	5	5	9	9	9	13	1	1	1	1	1	7	6	5	6	5	5	12	4	4	4	4	4	10	11	6	5	11	5	9	10	5	5	12	2	2	8	3	3	7	2	2	9	11	11	13	6	11
49	2	10	12	4	7	10	11	9	13	11	9	12	8	1	7	7	1	10	8	1	8	7	1	7	7	1	10	9	6	13	10	11	12	4	4	10	10	13	13	5	11	13	8	10	12	3	8	7
50	12	3	10	5	5	12	13	11	9	6	5	9	10	9	6	11	6	5	8	1	1	10	6	6	12	1	1	10	11	6	10	11	6	13	13	11	9	9	11	13	9	13	5	6	9	12	2	10
51	6	6	6	11	5	9	1	1	1	8	2	2	5	6	5	12	2	2	1	1	1	7	2	2	5	5	6	9	6	5	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1	1
52	6	9	5	12	7	8	0	0	0	7	10	12	0	0	0	7	8	8	5	5	6	12	8	10	11	11	6	9	13	13	12	8	1	1	8	8	7	10	6	5	12	10	9	12	0	0	10	12
53	3	8	8	2	2	7	11	9	12	2	2	10	9	11	12	2	2	7	0	10	12	2	2	8	6	12	8	2	2	10	5	9	12	2	2	8	2	2	7	2	2	10	2	2	10	11	11	9
54	4	8	1	10	5	12	4	10	11	9	5	13	4	8	10	5	6	9	4	8	8	0	0	0	4	8	10	5	11	5	6	9	9	6	12	2	2	2	2	2	7	2	2	2	2	2	10	11
55	1	7	10	13	6	12	1	7	10	9	11	12	6	12	7	2	8	8	11	9	9	5	12	7	12	3	3	3	7	8	7	3	3	3	7	7	8	3	3	3	8	7	13	5	6	11	13	13
56	10	6	12	2	7	1	13	6	9	6	12	1	10	6	11	6	9	5	13	6	12	1	1	1	10	11	12	1	1	1	9	13	9	11	11	5	4	10	6	12	10	6	11	12	1	7	10	11
57	2	7	8	1	10	13	11	13	12	1	8	8	10	13	12	1	10	9	12	7	8	1	10	11	7	8	10	5	13	13	9	12	10	5	9	13	5	13	13	5	6	9	11	13	13	11	11	11
58	10	12	0	8	7	0	8	7	0	8	10	5	9	12	0	10	12	3	1	10	6	13	12	3	11	12	2	10	12	3	8	7	2	7	10	6	9	9	6	12	10	5	11	11	6	12	8	0
59	3	7	3	10	5	5	11	13	5	12	0	0	7	10	5	12	0	0	9	13	5	9	11	5	2	7	1	1	8	1	5	9	11	6	9	5	3	3	8	1	1	1	11	11	12	1	1	1
60	6	12	3	10	5	9	6	13	11	9	6	11	1	7	8	4	4	7	5	13	12	4	4	10	6	12	8	4	4	8	1	10	9	6	6	12	11	12	1	1	1	8	7	7	1	1	1	10
61	5	9	11	6	11	13	1	1	10	6	9	12	1	1	10	6	5	13	1	1	8	1	1	8	1	1	7	1	1	7	6	5	9	5	6	9	11	11	11	11	5	11	10	13	12	7	2	7
62	12	4	7	0	0	0	10	11	9	6	6	11	12	10	5	11	6	12	13	12	3	7	4	7	13	12	3	8	4	10	8	10	11	9	6	9	12	10	13	5	11	5	13	12	10	11	13	6
63	3	7	7	4	8	7	3	10	9	6	12	8	6	9	5	6	12	10	1	1	1	1	8	7	6	11	5	5	9	13	0	10	6	5	5	12	11	12	3	3	3	7	9	13	5	5	11	13
64	11	12	1	8	8	4	8	8	1	8	8	4	10	9	5	12	7	4	10	5	11	12	7	4	9	11	12	7	7	4	5	13	13	9	12	4	4	10	13	5	12	4	11	9	12	0	7	4
65	1	8	7	0	7	8	1	10	13	5	9	12	6	12	10	11	5	9	3	7	8	7	1	1	3	7	8	10	6	11	6	13	12	10	5	9	11	13	13	9	11	11	8	7	8	3	8	10
66	7	4	7	4	7	8	10	6	13	5	12	8	7	4	10	6	12	7	10	11	12	0	8	7	7	8	10	5	9	12	7	10	13	6	6	9	9	9	13	11	5	11	2	2	7	8	1	10
67	12	2	7	7	0	0	8	2	10	9	11	5	13	11	9	5	12	2	13	13	5	11	9	5	8	10	6	13	6	6	9	13	6	13	6	6	2	7	1	8	0	0	11	9	6	12	0	0
68	5	5	5	6	12	4	4	4	4	4	8	4	6	5	11	11	9	11	6	11	12	8	0	10	5	13	9	12	0	8	1	8	0	7	0	8	6	12	0	8	0	10	0	8	0	10	11	9
69	1	1	7	10	12	1	5	6	12	7	10	6	6	5	9	13	9	11	5	5	5	9	5	12	6	11	6	6	5	12	0	8	4	4	4	10	0	8	4	4	4	7	6	9	11	5	5	12
70	5	13	11	13	12	10	0	10	12	8	7	7	11	9	9	9	13	9	10	11	11	5	9	6	7	8	7	2	2	2	8	7	10	5	5	6	7	8	8	2	2	2	7	7	8	2	2	2
71	9	13	12	7	8	8	1	8	10	9	12	10	6	13	9	5	9	9	6	13	11	5	5	6	0	10	9	6	11	11	11	12	2	2	8	7	12	10	11	6	13	12	8	10	12	2	7	7
72	0	0	0	0	10	12	0	0	0	0	7	7	0	0	0	0	7	8	11	6	5	5	12	10	7	2	2	2	7	10	10	11	5	11	13	13	13	13	5	12	7	8	12	7	0	8	7	8
73	9	9	6	12	10	12	2	2	2	7	8	8	2	2	2	8	8	8	11	6	11	13	12	7	7	0	7	7	7	7	8	0	7	8	7	8	12	0	10	12	7	10	8	0	8	10	13	12
74	3	3	7	4	7	8	5	5	9	5	12	7	3	3	3	3	10	13	5	11	5	11	12	7	1	8	1	8	10	13	6	12	1	8	8	10	6	12	1	7	10	12	2	10	11	12	7	10
75	13	11	13	11	12	0	12	7	7	8	7	0	10	13	13	9	13	11	12	8	8	3	8	8	10	13	13	5	13	13	8	8	8	1	7	8	13	13	13	6	12	10	9	9	9	11	9	12
76	5	13	9	9	11	5	2	8	4	4	7	2	11	9	5	6	13	6	13	11	5	5	12	3	9	12	1	1	8	3	5	13	11	11	9	6	11	9	9	9	6	11	8	1	1	1	1	8
77	5	9	5	11	12	3	3	3	3	8	10	11	11	11	11	12	7	8	10	13	12	10	9	9	13	9	13	9	11	5	12	1	10	5	9	11	8	1	7	1	1	10	7	1	7	1	1	8
78	4	7	10	5	12	4	5	9	9	6	12	4	3	3	3	3	7	4	5	6	11	6	9	6	3	3	7	1	1	1	6	5	9	11	11	5	3	3	3	10	13	6	6	11	6	13	13	11
79	1	8	0	10	6	6	5	9	6	12	2	2	5	11	6	9	5	5	11	13	5	11	11	5	9	12	0	10	12	1	6	9	6	12	10	6	1	1	1	7	10	5	5	5	6	9	9	5
80	7	2	7	4	8	10	12	2	8	4	7	8	13	6	12	4	7	10	9	11	12	4	10	12	1	10	13	5	9	9	1	7	8	4	4	4	6	13	13	11	11	5	11	12	10	9	13	11
81	4	10	12	10	12	3	11	13	9	13	12	3	10	9	6	13	9	11	8	1	1	8	4	8	9	5	11	13	11	9	2	2	8	10	13	5	5	5	13	9	13	5	1	1	8	4	8	1
82	11	5	12	2	7	10	10	5	13	5	13	13	12	2	8	2	7	10	13	11	12	2	8	10	9	9	9	6	9	13	1	1	1	1	1	8	1	1	1	1	1	7	5	6	11	6	6	12
83	11	12	1	8	3	7	7	7	1	10	5	12	9	9	11	13	5	12	4	4	7	8	3	7	4	4	7	8	3	7	4	4	8	7	3	7	4	4	7	8	3	7	4	4	8	8	3	7
84	4	10	5	6	6	12	6	9	6	5	5	13	1	1	1	1	1	8	11	5	5	6	6	13	10	6	5	5	11	9	13	6	6	5	13	11	10	5	5	11	13	12	13	6	6	12	7	7
85	3	7	8	3	7	3	11	13	12	3	7	3	9	12	10	11	12	3	1	7	8	7	10	6	11	13	13	12	7	1	10	13	13	13	12	1	7	10	13	12	7	1	7	10	9	9	12	1
86	6	13	11	11	9	12	1	8	10	12	1	8	1	7	10	12	1	7	1	8	8	8	1	7	6	9	13	12	1	8	5	11	9	13	11	13	1	10	6	13	12	10	1	7	0	8	7	7
87	3	3	8	0	7	1	3	3	7	0	7	1	5	5	9	6	9	11	4	4	4	4	4	7	11	11	5	11	5	9	10	13	6	9	5	6	7	10	11	6	6	6	7	8	10	5	6	6
88	7	7	4	4	4	8	7	8	4	4	4	8	12	8	4	4	4	8	13	12	4	4	4	10	9	9	5	5	6	12	5	5	11	5	11	13	6	6	13	11	12	10	5	6	13	9	12	10
89	6	12	8	1	8	2	4	7	8	1	10	11	5	13	13	6	9	13	11	13	9	11	11	9	10	9	11	9	12	3	7	3	7	3	10	11	10	5	9	6	13	13	12	1	1	1	7	10
90	7	3	10	13	5	9	10	11	9	12	3	3	13	12	0	7	3	3	7	8	0	7	3	3	10	12	0	7	3	3	9	12	0	7	3	3	6	12	0	8	3	3	0	7	0	7	3	3
91	5	12	2	7	2	7	2	7	2	10	6	9	2	8	2	10	5	6	2	7	2	8	3	3	5	13	6	13	6	5	0	10	5	9	6	6	11	9	5	6	6	6	7	2	2	2	2	2
92	3	7	8	0	0	7	5	9	13	6	5	12	2	2	7	1	1	8	5	6	12	1	1	7	2	2	7	1	1	7	5	5	9	11	5	13	2	2	2	8	3	7	2	2	2	7	3	7
93	4	4	8	4	8	8	11	5	12	4	10	13	8	1	8	4	10	13	10	6	13	5	12	7	12	0	10	6	13	13	8	0	8	3	7	8	10	11	9	11	13	13	8	8	0	10	12	7
94	8	3	10	12	1	7	9	11	9	12	1	7	4	10	11	13	5	13	5	9	12	7	2	8	3	3	7	8	2	10	6	6	13	13	5	13	6	5	13	13	5	9	4	4	7	7	2	2
95	3	10	11	9	9	12	3	10	9	11	11	12	3	10	5	13	12	7	6	9	11	13	9	9	1	1	10	9	6	5	11	11	12	0	0	0	10	9	13	11	6	5	10	6	13	13	11	11
96	11	13	5	12	4	7	9	12	4	10	5	12	1	8	4	8	1	8	6	12	4	7	1	7	1	7	4	10	5	13	6	12	4	8	0	8	5	12	4	10	11	9	5	13	5	9	9	6
97	1	1	7	2	8	4	5	6	12	2	7	4	1	1	10	11	12	4	6	11	9	13	12	4	6	13	11	12	7	4	1	8	8	8	7	4	6	9	9	13	9	6	4	4	4	8	1	1
98	10	11	12	4	4	4	8	8	10	6	11	5	8	8	10	5	12	0	10	9	9	11	13	5	10	6	5	13	9	5	12	1	1	10	5	5	8	1	1	10	11	6	13	5	6	12	8	3
99	12	3	3	8	4	4	7	3	3	10	6	6	7	3	3	10	5	5	13	11	5	9	5	5	12	8	0	0	0	0	10	12	0	0	0	0	13	9	11	6	5	11	10	6	9	5	11	13

ddqn_obs_local_100_ave：

ddqn_obs_local_100_each：

最终实现基于强化学习的由基本单元组成的简易模型框架：