DataFrame和Alink批式数据的互相转化【Alink使用技巧】

Alink提供了collectToDataframe()和fromDataframe()方法，实现了DataFrame和Alink批式数据的互相转化。

Alink批式数据 -> DataFrame

Alink的批式数据源或者计算结果，如果能转成Python的DataFrame形式，则可以利用Python丰富的函数库及可视化功能，进行后续的分析和显示。

Alink中每个批式数据源或批式算子都支持collectToDataframe()方法，不需要输入参数，返回的结果就是DataFrame。注意，该方法中带有collect字样，表明其执行过程中会使用Flink的collect方法，触发Flink任务执行。

示例如下，我们使用CsvSourceBatchOp读取UCI网站的iris.data数据

source = CsvSourceBatchOp()\
    .setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data")\
    .setSchemaStr("sepal_length double, sepal_width double, petal_length double, petal_width double, category string")

然后调用变量source的collectToDataframe()方法，得到相应的DataFrame，付给变量df_iris

df_iris = source.collectToDataframe()

到这里，我们就已经实现了Alink数据到Python DataFrame的转化，下面我们就可以使用Python的函数，进一步处理df_iris，譬如：使用head()方法，显示前5条数据。

df_iris.head()

运行结果为：

DataFrame -> Alink批式数据

对于DataFrame形式的数据，Alink提供了fromDataframe()方法，将数据转换为Alink批式数据。具体使用示例如下：

iris = BatchOperator.fromDataframe(df_iris, "sepal_length double, sepal_width double, petal_length double, petal_width double, category string")

使用Alink批式算子BatchOperator的静态方法fromDataframe()，第一个参数为DataFrame数据，第二个参数为数据Schema的描述，由于DataFrame的数据类型与Alink有点差异，通过设置schema参数，可以严格保证转化后的数据与我们期望的一致。关于Schema String更多的介绍可以参见：

Alink品数：Alink Schema String简介【Alink使用技巧】​zhuanlan.zhihu.com

 

最后，我们看一下转换后的Alink批式数据iris，取前5条数据进行打印输出，代码如下：

iris.firstN(5).print()

结果显示为