flink java 语言 readfile读取hdfs上的csv文件并开启流处理

最新推荐文章于 2024-10-24 22:43:20 发布

原创

最新推荐文章于 2024-10-24 22:43:20 发布 · 1.9k 阅读

2 ·

CC 4.0 BY-SA版权

在flink中针对读取csv文件的输出可以有3种格式，都是通过引用inputFormat来控制的，分别为 PojoCsvInputFormat输出类型为pojo， RowCsvInputFormat输出类型为Row, TupleCsvInputFormat输出类型为Tuple。本例子就用RowCsvInputFormat。

可以进入到RowCsvInputFormat 看看其构造函数都有哪些

public RowCsvInputFormat(
			Path filePath,
			TypeInformation[] fieldTypeInfos,
			String lineDelimiter,
			String fieldDelimiter,
			int[] selectedFields,
			boolean emptyColumnAsNull) {
   
   

		super(filePath);
		this.arity = fieldTypeInfos.length;
		if (arity != selectedFields.length) {
   
   
			throw new IllegalArgumentException("Number of field types and selected fields must be the same");
		}

		this.fieldTypeInfos = fieldTypeInfos;
		this.fieldPosMap = toFieldPosMap(selectedFields);
		this.emptyColumnAsNull = emptyColumnAsNull;

		boolean[] fieldsMask