TypeError: zip argument #N must support iteration

观察:
正常的replaybuffer中每次都会存None,而添加的HER的额外样本后出现了这个问题.
打印batch发现存在很多的none样本.
原本buffer采用数组,后改为队列存储,当满的时候会将最先进去的样本数组踢出,故尝试取消None空样本.跑了20eps没有问题.

错误定位:
state, action, reward, next_state, done = map(np.stack, zip(*batch))
#numpy.stack(arrays, axis=0)沿着新轴连接数组的序列。每个数组形状相同,返回堆叠的数组
# map用途:np.stack函数去计算zip存储的iterator,并产生新的iterator

zip解析
>>> a = [[1, 2, 3], [4, 5, 6], [7, 8, 9]]
>>> zip(*a)
[(1, 4, 7), (2, 5, 8), (3, 6, 9)]
>>> map(list,zip(*a))
[[1, 4, 7], [2, 5, 8], [3, 6, 9]]
h,g,m = map(np.stack, zip(*a))
print(h,g,m)
[1 4 7] [2 5 8] [3 6 9]
h,g,m = map(list, zip(*a))
print(h,g,m)
[1, 4, 7] [2, 5, 8] [3, 6, 9]
这种方法速度更快但也更难以理解，将list看成tuple解压，恰好得到我们“行列互换”的效果，再通过对每个元素应用list()函数，将tuple转换为list
https://www.cnblogs.com/strongYaYa/p/5870075.html