Flink实践代码-TableAPI 与 DataStream 互转(1)

最新推荐文章于 2024-07-25 20:48:29 发布

2401_84164672

最新推荐文章于 2024-07-25 20:48:29 发布

阅读量159

点赞数 8

分类专栏： 2024年程序员学习文章标签： flink 大数据

本文链接：https://blog.csdn.net/2401_84164672/article/details/137698585

版权

2024年程序员学习专栏收录该内容

104 篇文章 0 订阅

订阅专栏

package com.youtree.flink;

import com.alibaba.fastjson2.JSON;
import com.alibaba.fastjson2.JSONObject;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.table.api.Table;
import org.apache.flink.table.api.bridge.java.StreamTableEnvironment;
import org.apache.flink.types.Row;
import org.apache.flink.util.Collector;

import java.util.ArrayList;
import java.util.List;
import java.util.Objects;
 
public class Visit_Info_for_table {
    public static void main(String[] args) throws Exception {
        final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        final StreamTableEnvironment tabEnv = StreamTableEnvironment.create(env);


        DataStream<String> VisitInfo = env.readTextFile("FilePathinfos");

        DataStream<JSONObject> jsonObjectDataStream = VisitInfo.flatMap(new FlatMapFunction<String, JSONObject>() {
                    @Override
                    public void flatMap(String s, Collector<JSONObject> collector) throws Exception {
                        JSONObject jsonObject = JSON.parseObject(s);
                        jsonObject.remove("visit_info");
                        collector.collect(jsonObject);
                    }
                })
                .filter(value -> String.valueOf(value.get("is_valid")).equals("1"))
                .filter(Objects::nonNull);

        DataStream<Row> rowDataStream = jsonObjectDataStream.flatMap(new FlatMapFunction<JSO

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。