1.代码与含义解释
1.1 思路
Flink 获取数据流后,需要做数据过滤那么首先就要有一下几个步骤:
- 构建运行环境
- 接入数据流
- 数据过滤
- 打印结果或输出到其他源例如 Kafka。
1.2 直接上代码
public class visit_table {
public static void main(String[] args) throws Exception {
final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
final StreamTableEnvironment tablenv = StreamTableEnvironment.create(env);
DataStreamSource<String> visit_info = env.readTextFile("ThePaths");
// 将读取到的数转换成 Json 通过 Json 定位需要过滤的 key 和 value 在将其转换为 String。
SingleOutputStreamOperator<String> results = visit_info
.flatMap(new FlatMapFunction<String, JSONObject>() {
@Override
public void flatMap(String value, Collector<JSONObject> out) throws Exception {
JSONObject jsonObject = JSON.parseObject(value);
out.collect(jsonObject);
}
})
.filter(value -> String.valueOf(value.get("is_valid")).equals( "1"))
.map(new MapFunction<JSONObject, String>() {
@Override
public java.lang.String map(JSONObject valu