flink 用文本文件模拟数据集

最新推荐文章于 2024-10-08 14:23:59 发布

城畜猿

最新推荐文章于 2024-10-08 14:23:59 发布

阅读量116

点赞数

分类专栏： flink 知识分享文章标签： java 开发语言 flume flink 大数据

本文链接：https://blog.csdn.net/lhp12355/article/details/119456110

版权

该博客演示了如何在Java中利用Apache Flink读取并处理文本文件数据。通过`ExecutionEnvironment`创建执行环境，读取指定路径的hello.txt文件，然后使用`flatMap`操作转换数据，接着进行分组和求和操作。最终，打印处理后的结果。

摘要由CSDN通过智能技术生成

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

public class StreamCount {

public static void main(String[] args) throws Exception {
//数据集
ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();
String path="D:\\onlinetime\\java-d-operate\\feature-utils-hub\\feature-flink-realtime-java\\src\\main\\resources\\hello.txt";
DataSet<String> inputDataString = env.readTextFile(path);
DataSet<Tuple2<String,Integer>> reults = inputDataString.flatMap(new MyFlatMapper())
.groupBy(0)
.sum(1);

reults.print();

}