numpy.ndarray.flat/flatten 与 Spark 下的 flatMap

numpy.ndarray.flat/flatten

flat：使平坦，在编程上就对应着二维变一维。

• （1）numpy.ndarray.flat 和 numpy,ndarray.T 一样不是函数调用，因此不可以跟函数调用操作符（也即一对小括号），因此也不可以指定平坦化的参数，比如按行平坦还是按列平坦，其默认的 flat 的动作是逐行（row-major）进行的。

  >>> import numpy as np
  >>> X = np.random.randint(0, 5, (2, 3))
  array([[3, 0, 2],
         [1, 2, 2]])
  >>> x = X.flat
  >>> x
  <numpy.flatiter object at 0x9e82278>
                              # 不直接返回一维数组
                              # 但可直接索引
  >>> x[0]
  >>> x[3]
  1
  >>> np.array(x)
  array([3, 0, 2, 1, 2, 2])

• （2）numpy.ndarray.flatten() 是函数调用，可以指定平坦化的参数。

  ndarray.flatten(order='C')

  可选参数，order：

  • （1）’C’：C-style，行序优先
  • （2）’F’：Fortran-style，列序优先
  • （3）’A’：保持
  • （4）默认为’C’

Spark 下的 flatMap

Spark 下的 flatMap 就类似于 numpyt 对多维数组的 flat，也即按行序进行扁平化；

• Spark 中 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；

• 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：

  • 操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象

  • 操作2：最后将所有对象合并为一个对象