DataStream API

最新推荐文章于 2024-08-10 16:13:20 发布

我可以.

最新推荐文章于 2024-08-10 16:13:20 发布

阅读量666

点赞数 1

文章标签： java 开发语言

本文链接：https://blog.csdn.net/qq_61741696/article/details/127326148

版权

本文详细介绍了Apache Flink的基础操作，包括环境搭建、数据读取（如从文件、集合、元素、source文件和Kafka中读取）以及转换算子的应用，如map、filter和flatMap。通过实例展示了如何自定义source类型输出和执行各种转换操作，为理解Flink的数据处理流程提供了清晰的指导。

摘要由CSDN通过智能技术生成

原算子

准备工作，环境搭建

为了更好地理解，我们先构建一个实际应用场景。比如网站的访问操作，可以抽象成一个三元组（用户名，用户访问的 urrl，用户访问 url 的时间戳），所以在这里，我们可以创建一个类 Event，将用户行为包装成它的一个对象。

import java.sql.Timestamp;
/*
应用场景
 */
public class Event {
    public String user;
    public String ur1;//用户访问的url
    public Long timestape;//用户访问url的时间
    public Event(){};
    public Event(String user,String ur1,Long timestape){
        this.timestape=timestape;
        this.ur1=ur1;
        this.user=user;
    }

    @Override
    public String toString() {
        return "Event{" +
                "user='" + user + '\'' +
                ", ur1='" + ur1 + '\'' +
                ", timestape=" + new Timestamp(timestape)  +
                '}';
    }
}

读取数据

要先创建读取数据的环境

//创建执行环境
        StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);

从文件中读取数据

运用readTextFile的方法

1.创建一个文件clicks.txt

Mary, ./home, 1000
DOUDOU, ./cart, 2000
Bob, ./porp?id=100, 3000
DOUDOU, ./home, 4000

2.读取文件中的数据

 //从文件中读取数据
        DataStreamSource<String> stream1=env.readTextFile("input/clicks.txt");
       stream1.print("1");
       env.execute();

从集合中读取数据

 //从集合里读取数据
        ArrayList<Event> events=new ArrayList<>();
        events.add(new Event("DOUDOU","./home",1000L));
        DataStreamSource<Event> stream2=env.fromCollection(events);
        stream2.print("2");
        env.execute();

从元素中读取数据

//从元素中读取数据
        DataStreamSource<Event> stream3=env.fromElements
                (new Event("DOUDOU","./home",1000L));

从source文件中读取数据

首先要打开hadoop102的端口

  //从socket文本流中读取数据
        DataStreamSource<String> stream4=env.socketTextStream("hadoop102",7777);
        stream4.print("4");

从kafka中读取数据

//从kafka中读取数据
        Properties properties=new Properties();
        properties.setProperty("bootstrap.servers","hadoop102:9092");
        properties.setProperty("group.id", "consumer-group");
        properties.setProperty("key.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        properties.setProperty("value.deserializer",
                "org.apache.kafka.common.serialization.StringDeserializer");
        properties.setProperty("auto.offset.reset", "latest");

        DataStreamSource<String> kafkaStream=env.addSource(new FlinkKafkaConsumer<String>("clicks",new SimpleStringSchema(),properties));
        kafkaStream.print();
        env.execute();

开启zookeeper和kafka

zk.sh start
kf.sh start

创建用户

./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic clicks

自定义source类型输出

1.创建一个实现SourceFunction<Event>的类，创造数据

import org.apache.flink.streaming.api.functions.source.SourceFunction;

import java.util.Calendar;
import java.util.Random;

public class ClicksSource implements SourceFunction<Event> {
    //声明一个标志位
    private Boolean running=true;
    @Override
    public void run(SourceContext<Event> sourceContext) throws Exception {
        //生成随机数据
        Random random=new Random();
        //自定义选取的数据集
        String[] users = {"Mary", "Alice", "Bob", "Cary"};
        String[] urls = {"./home", "./cart", "./fav", "./prod?id=1",
                "./prod?id=2"};

        //循环生成的数据
        while (running){
            String user=users[random.nextInt(users.length)];
            String ur1=urls[random.nextInt(urls.length)];
            Long timestap= Calendar.getInstance().getTimeInMillis();
            sourceContext.collect(new Event(user,ur1,timestap));
            Thread.sleep(1000L);
        }
    }

    @Override
    public void cancel() {
      running=false;
    }
}

2.实现自定义source输出

import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/*
用户自定义source测试
 */
public class SourceCustomTest {
    public static void main(String[] args) throws Exception {
        StreamExecutionEnvironment env=StreamExecutionEnvironment.getExecutionEnvironment();
        env.setParallelism(1);
        DataStreamSource<Event> customStream=env.addSource(new ClicksSource());
        customStream.print();
        env.execute();
    }
}