《2021年最新版大数据面试题全面开启更新》
《2021年最新版大数据面试题全面开启更新》
大数据业务场景中,经常有一种场景:外部数据发送到kafka中,flink作为中间件消费kafka数据并进行业务处理;处理完成之后的数据可能还需要写入到数据库或者文件系统中,比如写入hdfs中;
目前基于spark进行计算比较主流,需要读取hdfs上的数据,可以通过读取parquet:spark.read.parquet(path)
数据实体:
public class Prti {
private String passingTime;
private String plateNo;
public Prti() {
}
//gettter and setter 方法....
}
public class FlinkReadKafkaToHdfs {
private final static StreamExecutionEnvironment environment = S