在使用python进行强化学习仿真实验的时候,numpy一定是会用到的一个工具库。numpy提供了很多有用的接口函数,但是要熟悉全部函数是有一定困难的。这里整理一些强化学习中比较常用的API函数,并说明它们一般使用的位置。
np.argmax 函数
这个函数主要用于取出矩阵中最大元素的位置,常用于对DQN的输出向量
import numpy as np
a = np.array([3, 5, 6, 8, 1])
b = np.argmax(a)
print('b=', b)
输出结果
b= 3
np.random.choice 函数
简单地介绍一下这个函数在强化学习用到的相关的语法,以下面这个案例为例
import numpy as np
# replace 表示抽完仍旧放回去
# np.random.choice(a, size = None, replace = True, p = None)
# 从0到5之间随机选取3个数
a = np.random.choice(5, 3)
# 表示分别以p=[0.1, 0, 0.3, 0.6, 0]的概率从[0,1,2,3,4]这四个数中选取3个数
b = np.random.choice(5, 2, p=[0.1, 0.1, 0.2, 0.2, 0.4])
print('a=', a)
print('b=', b)
执行结果
a= [2 3 1]
b= [3 4]
因为DQN需要保证一定的随机动作选择,来确保整个神经网络不会陷入局部最优的陷阱中,所以np.random.choice 函数通常用于DQN中非贪婪的随机动作的选择。通常的用法是
action = np.randon.choice(number_of_action, 1)
np.random.uniform函数
这个函数主要用于产生一个0-1之间的随机数
import numpy as np
# np.random.uniform(low=0,high=1,size=1) 返回[low,high)大小为size的数组,
a = np.random.uniform()
print('a=', a)
执行结果
a= 0.22582848580242054
在强化学习中,一般都会有一个随机动作的选择,以保证机器人实验不同的可能性,np.randon.uniform就是用于产生一个随机数,通常用法是
if np.random.uniform() > self.epsilon:
action = np.randon.choice(number_of_action, 1)
else
action = np.argmax(self.model.predict(observation))
表示如果产生的随机数大于贪婪度,则产生随机行为;否则选取神经网络预测的动作。