Flink入门

最新推荐文章于 2023-07-25 19:01:23 发布
最新推荐文章于 2023-07-25 19:01:23 发布
阅读量184 收藏
点赞数
分类专栏： Flink 文章标签： 大数据 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_34241861/article/details/115053500
版权

一、Flink是什么

Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行状态计算

二、为什么选择Flink

流数据能够反映我们真实的生活方式，但是传统的数据架构是基于有限数据集的。

我们期望的数据处理框架是：（1）低延迟（2）高吞吐（3）结果的准确性和良好的容错性

图一：传统事务处理架构
在这里插入图片描述
图二：传统分析处理架构
在这里插入图片描述
图三：有状态的流式处理
在这里插入图片描述
图四：lambda流处理架构
在这里插入图片描述
图五：Flink事件驱动架构
在这里插入图片描述
Flink vs Spark Streaming

1、数据模型

  • spark采用RDD模型，spark streaming的DStream实际上也就是一组组小批数据 RDD 的集合
  • flink基本数据模型是数据流，以及事件（Event）序列

2、运行时架构

  • spark是批计算，将DAG划分为不同的stage，一个stage完成后才可以计算下一个
  • flink是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节点进行处理

Flink的特点总结：

  • 低延迟，每秒处理数百万个事件，毫秒级延迟
  • 高吞吐
  • 结果的准确性和良好的容错性
  • 支持事件时间和处理时间
  • 精确一次的状态一致性保证
  • 与众多常用存储系统的连接
  • 高可用，动态扩展，实现 7✖️24 小时全天候运行

三、示例代码

3.1 批处理单词统计demo

pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.test.sun</groupId>
    <artifactId>FirstFlinkTest</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <flink.version>1.10.1</flink.version>
    </properties>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.2.0.RELEASE</version>
        <relativePath/>
    </parent>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.12</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
    </dependencies>
</project>

hello.txt

sunxiaoke hello demo
first flink demo
just do it
flink flink flink

WordCount类

package com.test.sun.demo;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;

/**
 * @description: 批处理Word Count
 * @time: 2021-03-21 19:20
 */
public class WordCount {
    public static void main(String[] args) throws Exception{
        // 创建执行环境
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        // 从文件中读取数据
        String inputPath = "/Users/sundongping/IdeaProjects/FirstFlinkTest/src/main/resources/hello.txt";
        // DataSource也可以换成DataSet
        DataSet<String> stringDataSource = env.readTextFile(inputPath);
        // 对数据集进行处理，按空格分词展开，转换成（word，1）二元组进行统计，
        DataSet<Tuple2<String, Integer>> result = stringDataSource.flatMap(new MyFlatMapper())
                .groupBy(0) // 按照元组中的第一个位置的word分组
                .sum(1); // 按照元组中的第二个位置上的数据求和

        result.print();
    }

    // 自定义类，实现FlatMapFunction接口，java中没有元组的概念，可以使用flink自带的元组类型
    public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String, Integer>>{

        @Override
        public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {
            // 按空格分词
            String[] words = value.split(" ");
            // 遍历所有的word，包成二元组输出
            for(String word : words){
                out.collect(new Tuple2<>(word, 1));
            }
        }
    }
}

执行结果：

(demo,2)
(first,1)
(flink,4)
(sunxiaoke,1)
(do,1)
(hello,1)
(it,1)
(just,1)

3.2 流处理单词统计demo

StreamWordCount类

package com.test.sun.demo;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @description:
 * @time: 2021-03-21 21:03
 */
public class StreamWordCount {
    public static void main(String[] args) throws Exception{
        // 创建流处理执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();

        // 从文件中读取数据
        String inputPath = "/Users/sundongping/IdeaProjects/FirstFlinkTest/src/main/resources/hello.txt";
        // DataSource也可以换成DataSet
        DataStream<String> stringDataStream = env.readTextFile(inputPath);

        // 基于数据流进行转换计算
        DataStream<Tuple2<String, Integer>> resultStream = stringDataStream.flatMap(new WordCount.MyFlatMapper())
                .keyBy(0)
                .sum(1);

        resultStream.print();

        // 执行任务
        env.execute();
    }
}

执行结果：

4> (sunxiaoke,1)
2> (hello,1)
2> (demo,1)
4> (first,1)
2> (demo,2)
4> (flink,1)
1> (it,1)
4> (flink,2)
4> (flink,3)
4> (flink,4)
2> (just,1)
2> (do,1)

其中，结果中 > 号之前的数字表示线程号，之所以是1～4是因为我的电脑核数是4。当然，并行的线程数是可以使用setParallelism设置的

增加了并行线程数的代码如下：

package com.test.sun.demo;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @description:
 * @time: 2021-03-21 21:03
 */
public class StreamWordCount {
    public static void main(String[] args) throws Exception{
        // 创建流处理执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 设置并行执行的线程数
        env.setParallelism(8);
        // 从文件中读取数据
        String inputPath = "/Users/sundongping/IdeaProjects/FirstFlinkTest/src/main/resources/hello.txt";
        // DataSource也可以换成DataSet
        DataStream<String> stringDataStream = env.readTextFile(inputPath);

        // 基于数据流进行转换计算
        DataStream<Tuple2<String, Integer>> resultStream = stringDataStream.flatMap(new WordCount.MyFlatMapper())
                .keyBy(0)
                .sum(1);

        resultStream.print();

        // 执行任务
        env.execute();
    }
}

执行结果：

3> (hello,1)
3> (demo,1)
7> (sunxiaoke,1)
3> (just,1)
3> (do,1)
1> (it,1)
7> (flink,1)
7> (flink,2)
7> (flink,3)
7> (first,1)
7> (flink,4)
3> (demo,2)

3.3 读取socket文本数据demo

第一步：
使用nc -l -p 7777命令，作为服务端监听本机的 7777 端口

第二步：
修改StreamWordCount类代码，将数据源部分改为从socket读取数据

package com.test.sun.demo;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @description:
 * @time: 2021-03-21 21:03
 */
public class StreamWordCount {
    public static void main(String[] args) throws Exception{
        // 创建流处理执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 设置并行执行的线程数
        env.setParallelism(8);

        // 从socket文本流读取数据
        DataStream<String> stringDataStream = env.socketTextStream("localhost", 7777);

        // 基于数据流进行转换计算
        DataStream<Tuple2<String, Integer>> resultStream = stringDataStream.flatMap(new WordCount.MyFlatMapper())
                .keyBy(0)
                .sum(1);

        resultStream.print();

        // 执行任务
        env.execute();
    }
}

第三步：
在终端输入字符串，编辑器控制台会实时输出统计结果
在这里插入图片描述
在这里插入图片描述

使用flink提供的ParameterTool工具可以将原来代码中写死的地址和端口号，以参数形式动态传入代码中使用。修改后的代码如下：

package com.test.sun.demo;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.api.java.utils.ParameterTool;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

/**
 * @description:
 * @author: 孙东平
 * @time: 2021-03-21 21:03
 */
public class StreamWordCount {
    public static void main(String[] args) throws Exception{
        // 创建流处理执行环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        // 设置并行执行的线程数
        env.setParallelism(8);

        // 用parameter tool工具从程序启动参数中提取配置项
        ParameterTool parameterTool = ParameterTool.fromArgs(args);
        String host = parameterTool.get("host");
        Integer port = parameterTool.getInt("port");

        // 从socket文本流读取数据
        DataStream<String> stringDataStream = env.socketTextStream(host, port);

        // 基于数据流进行转换计算
        DataStream<Tuple2<String, Integer>> resultStream = stringDataStream.flatMap(new WordCount.MyFlatMapper())
                .keyBy(0)
                .sum(1);

        resultStream.print();

        // 执行任务
        env.execute();
    }
}

然后，配置好启动程序时需要传入的参数即可
在这里插入图片描述

小小平不平凡
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
flink入门_Flink 基础入门（一看就会）
weixin_39861734的博客
11-21 4338
前言Spark Streaming 准确来说算是一个微批处理伪实时的做法，可是 Flink 是真的来一条就会处理一条，而且在 Spark Streaming 和 Kafka 进行整合时我们需要手动去管理偏移量的问题，而在 Flink 当中，它就会自动地去帮助我们去管理。而且 Flink 的算子比 Spark Streaming 的丰富多了，Flink是未来的趋势，起码我是这么认为的一、Flink基...
flink入门文档.pdf
08-16
flink入门人员，学生，学习总结参考文档。
适合新手的Flink入门教程
热门推荐
3y
11-26 1万+
看了这篇，再看官网就轻松了。
Flink从入门到精通系列（一）
prefect_start的博客
03-09 2606
Flink概述、流式数据处理的发展是演变以及Flink的快速入门案例
Flink快速入门
DevinKim的博客
08-29 1282
Flink快速入门 文章目录Flink快速入门一.Flink介绍(一)Flink简介(二)对比Flink、Spark、Storm(三)Flink生态圈(四)编程模型二.Flink环境搭建(一)Standalone集群模式(二)高可用HA模式(三)YARN模式1.YARN Session模式2.分离模式三.批处理常用API(一)入门案例WordCount(二)Flink Source数据源(三)Fi...
flink入门基础知识整理（持续更新）
weixin_42396063的博客
11-17 3260
本文为FLink入门基础知识整理，包括概念、APi、核心抽象等
flink入门实战
06-15
以flink处理kafka消息流场景为例，将接受到的kafka消息sink到mysql、elastic、hdfs、kafka，通过真实的案例，助你入门flink计算框架。课程案例代码也可移植到其它业务系统，实现快速开发。
flink入门资料
10-12
flink基本概念与部署，DataStreamAPI，Druid数据存储，Druid基本概念。Flink应用案例教程，Flink状态管理与恢复及容错设计与指标设计。
Flink入门宝典
10-30
Flink入门宝典
Flink入门及实战V1.6.1-2018最新
10-22
Flink入门及实战最新内容分享，包含Flink基本原理及应用场景、Flink vs storm vs sparkStreaming、Flink入门案例-wordCount、Flink集群安装部署standalone+yarn、Flink-HA高可用、Flink scala shell代码调试
flink基础教程
qq_24186017的博客
05-28 1418
一：flink初识 Flink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apache软件基金会的顶级项...
flink的ParameterTool
大数据技术分享中心
03-09 1114
实例 fromPropertiesFile String propertiesFilePath = "/home/sam/flink/myjob.properties"; ParameterTool parameter = ParameterTool.fromPropertiesFile(propertiesFilePath); File propertiesFile = new File(propertiesFilePath); ParameterTool parameter = ParameterTo
使用IntelliJ Idea开发Flink应用程序
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
07-25 1105
使用IntelliJ Idea开发Flink应用程序
Flink学习9：配置idea开发flink-Scala程序环境
hzp666的博客
08-02 2686
我的CSDN资源中有ideeeeeeaaaaa。
Java整合Flink流式处理从Socket获取的数据
宝华的小岛
05-22 1920
尝试把Flink的小例子部署到集群去执行，发现找不到本地的txt文件。可是看jar包里面明明被打包进去了，可能获取路径的方法有点问题。懒得去处理，因为流式处理极少去处理本地数据的。我们要把数据来源更换成一个可以源源不断地输入的模式。比如Socket。我们就在前次小例子的基础上来修改https://blog.csdn.net/xxkalychen/article/details/117148830。 修改部分很简单。我们另外创建一个测试类，其他都不用修改。 package com.chris.flink
Flink学习笔记【巨详细！】（二）
m0_70357583的博客
07-07 1553
第三章：Flink集群配置和部署 第四章：Flink运行架构的介绍
flink 学习（二）socket流作为数据源
码易的博客
04-06 1784
目录一、使用 nc1.安装nc2.连接nc三、使用 SocketServer1.启动SocketServer2.连接SocketServer 一、使用 nc 1.安装nc 在linux服务器上使用yum安装，执行命令 yum -y install nc 启动nc，监听8888端口 nc -lp 8888 2.连接nc @Test public void fromSocketTest() throws Exception { // flink 流执行环境 f
Flink 快速入门
01-02
本课程基于某电商公司运营实时分析系统（2B），进行全方位、无死角系统讲解。通过本课程的学习，既能获得Flink企业级真实项目经验，也能深入掌握Flink的核心理论知识，还能获得Flink在生产环境中安装、部署、监控的宝贵经验，从而一站式全面、深入掌握Flink技术。任务作业：1.使用Eclipse或者IDEA开发流处理和批处理WordCount，可以在本地成功运行，并统计打印出单词词频；2.搭建Flink Standalone分布式集群，编译打包WordCount上传至Flink集群运行，并统计打印出单词词频。（注意： 作业需写在CSDN博客中，请把作业链接贴在评论区，老师会定期逐个批改~~）
Flink1.8快速入门与实战
08-29
《Flink1.8快速入门与实战》课程基于Flink最新版本V1.8，本套课程主要针对Flink进行讲解，大家学完以后能对Flink有一个快速的认识，能快速上手构建Flink项目以及搭建Flink生产集群环境。
flink 入门案例 依赖
最新发布
08-03
flink 入门案例主要依赖于以下几个方面： 1. Flink Core：Flink 是一个开源的流式处理框架，入门案例需要依赖 Flink 的核心库，包括 Flink 的运行时框架、状态管理等。 2. Apache Kafka：Kafka 是一个分布式的流...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值