- 博客(3)
- 收藏
- 关注
RSS订阅原创 Flink在Stream模式下的OrcTableSource支持读取多个数据目录
依赖 Flink版本基于1.9.2 需要更新的4个类 自己创建 MultiFileInputFormat类 flink在stream模式下读取文件时有两种模式, 一种是走ContinuousFileMonitoringFunction, 这种模式底层会是单线程读取数据, 同时按照文件的更新时间排序后从小到大读取文件, 保证数据时序性. 另外是直接多线程同时读取, 没有时序性, 而我们需要走...
2020-03-16 10:29:50
1098
原创 Flink Table转DataStream后存在时差问题
代码: Table table = tenv.sqlQuery(“select row_time,host_name from xx where host_name = ‘xx’”) DataStream datastream = table.toAppendStramRow 执行过程: processOperator 实际就是select操作, 这一步用到了SqlFunctions.toLo...
2020-03-16 10:05:59
527
原创 ORC多级索引和使用
ORC是一种具备高效存储和查询能力的文件格式 在存储方面,ORC为基于strips的列式存储,每个strip包含了N行数据,strip内部是列式存储, 相同的列在一段连续的存储区域内,所以能够用不同的压缩编码来适配数据,也就做到了高效的压缩效率 ...
2020-03-01 20:37:25
1275
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人