强化学习Numpy相关知识整理

在使用python进行强化学习仿真实验的时候，numpy一定是会用到的一个工具库。numpy提供了很多有用的接口函数，但是要熟悉全部函数是有一定困难的。这里整理一些强化学习中比较常用的API函数，并说明它们一般使用的位置。

np.argmax 函数

这个函数主要用于取出矩阵中最大元素的位置，常用于对DQN的输出向量

import numpy as np

a = np.array([3, 5, 6, 8, 1])
b = np.argmax(a)
print('b=', b)

输出结果

b= 3

np.random.choice 函数

简单地介绍一下这个函数在强化学习用到的相关的语法，以下面这个案例为例

import numpy as np

# replace 表示抽完仍旧放回去
# np.random.choice(a, size = None, replace = True, p = None)
# 从0到5之间随机选取3个数
a = np.random.choice(5, 3)
# 表示分别以p=[0.1, 0, 0.3, 0.6, 0]的概率从[0,1,2,3,4]这四个数中选取3个数
b = np.random.choice(5, 2, p=[0.1, 0.1, 0.2, 0.2, 0.4])

print('a=', a)
print('b=', b)

执行结果

a= [2 3 1]
b= [3 4]

因为DQN需要保证一定的随机动作选择，来确保整个神经网络不会陷入局部最优的陷阱中，所以np.random.choice 函数通常用于DQN中非贪婪的随机动作的选择。通常的用法是

action = np.randon.choice(number_of_action, 1)

np.random.uniform函数

这个函数主要用于产生一个0-1之间的随机数

import numpy as np

# np.random.uniform(low=0,high=1,size=1) 返回[low,high)大小为size的数组，
a = np.random.uniform()
print('a=', a)

执行结果

a= 0.22582848580242054

在强化学习中，一般都会有一个随机动作的选择，以保证机器人实验不同的可能性，np.randon.uniform就是用于产生一个随机数，通常用法是

if np.random.uniform() > self.epsilon:
	action = np.randon.choice(number_of_action, 1)
else
	action = np.argmax(self.model.predict(observation))
	

表示如果产生的随机数大于贪婪度，则产生随机行为；否则选取神经网络预测的动作。