python填充空值_将Python序列转换为NumPy数组，填充缺失值

拉丁的传说

这是一个几乎*矢量化的基于布尔索引的方法，我在其他几个帖子中使用过 -def boolean_indexing(v):

    lens = np.array([len(item) for item in v])

    mask = lens[:,None] > np.arange(lens.max())

    out = np.zeros(mask.shape,dtype=int)

    out[mask] = np.concatenate(v)

    return out样品运行In [27]: vOut[27]: [[1], [1, 2], [3, 6, 7, 8, 9], [4]]In [28]: outOut[28]: array([[1, 0, 0, 0, 0],

       [1, 2, 0, 0, 0],

       [3, 6, 7, 8, 9],

       [4, 0, 0, 0, 0]])*请注意，这创造了几乎矢量化，因为这里执行的唯一循环是在开始，我们得到列表元素的长度。但是那个计算要求不高的部分应该对总运行时间的影响最小。运行时测试在本节中，我是计时DataFrame-based solution by @Alberto Garcia-Raboso，itertools-based solution by @ayhan因为它们似乎可以很好地扩展，并且基于布尔索引的一个来自这篇文章的一个相对较大的数据集，在列表元素中有三个级别的大小变化。案例＃1：更大的尺寸变化In [44]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8,9,3,6,4,8,3,2,4,5,6,6,8,7,9,3,6,4]]In [45]: v = v*1000In [46]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)100 loops, best of 3: 9.82 ms per loopIn [47]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T100 loops, best of 3: 5.11 ms per loopIn [48]: %timeit boolean_indexing(v)100 loops, best of 3: 6.88 ms per loop案例＃2：较小的尺寸变化In [49]: v = [[1], [1,2,4,8,4],[6,7,3,6,7,8]]In [50]: v = v*1000In [51]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)100 loops, best of 3: 3.12 ms per loopIn [52]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T1000 loops, best of 3: 1.55 ms per loopIn [53]: %timeit boolean_indexing(v)100 loops, best of 3: 5 ms per loop案例＃3：每个列表元素的元素数量更多（最多100个）In [139]: # Setup inputs

     ...: N = 10000 # Number of elems in list

     ...: maxn = 100 # Max. size of a list element

     ...: lens = np.random.randint(0,maxn,(N))

     ...: v = [list(np.random.randint(0,9,(L))) for L in lens]

     ...: In [140]: %timeit pd.DataFrame(v).fillna(0).values.astype(np.int32)1 loops, best of 3: 292 ms per loopIn [141]: %timeit np.array(list(itertools.izip_longest(*v, fillvalue=0))).T1 loops, best of 3: 264 ms per loopIn [142]: %timeit boolean_indexing(v)10 loops, best of 3: 95.7 ms per loop对我来说，似乎itertools.izip_longest做得很好！没有明确的赢家，但必须根据具体情况采取行动！