Alink如何读写文本数据【Alink使用技巧】

Alink文本读写组件使用起来非常简单，每个换行符对应一条数据，只需指定文件的路径即可。譬如，我们想看一下iris数据，但不想花时间详细定义其数据列名及类型，就可以将其每条数据简单地看作一行文本，使用TextSourceBatchOp，并设置文件路径的参数。

iris_text = TextSourceBatchOp().setFilePath("http://archive.ics.uci.edu/ml/machine-learning-databases/iris/iris.data")

iris_text.firstN(5).print()

输出结果为：

再举一个例子，在机器学习中经常需要将打好标签的数据拆分为训练集和验证集，由于拆分操作中每条记录的内容没有被改变，我们还是可以将每条记录都看作单行文本，并按文本的方式保存数据集。从而用更简洁的脚本，完成数据拆分的任务。运行脚本如下，SplitBatchOp为数据拆分算子，其参数Fraction即为拆分比例，

spliter = SplitBatchOp().setFraction(0.9)
spliter.linkFrom(iris_text)

spliter.link(
    TextSinkBatchOp().setFilePath("/Users/yangxu/flinkml/data/iris/iris_part1.data")
)
spliter.getSideOutput(0).link(
    TextSinkBatchOp().setFilePath("/Users/yangxu/flinkml/data/iris/iris_part2.data")
)

BatchOperator.execute()

执行完成后，我们还可以通过TextSourceBatchOp，读取打印一下iris_part2.data的数据，检查一下效果。

TextSourceBatchOp().setFilePath("/Users/yangxu/flinkml/data/iris/iris_part2.data").print()

输出结果如下，刚好15条数据，占iris数据集的10%