尚硅谷Flink入门到实战-学习笔记1

最新推荐文章于 2023-07-18 20:22:48 发布
最新推荐文章于 2023-07-18 20:22:48 发布
阅读量707 收藏 2
点赞数
分类专栏： java 文章标签： flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42134712/article/details/114281859
版权

尚硅谷Flink入门到实战-学习笔记1

1. Flink的特点

  • 事件驱动（Event-driven）
  • 基于流处理
    一切皆由流组成，离线数据是有界的流；实时数据是一个没有界限的流。（有界流、无界流）
  • 分层API
    越顶层越抽象，表达含义越简明，使用越方便
    越底层越具体，表达能力越丰富，使用越灵活

1.1 Flink vs Spark Streaming

  • 数据模型

  • Spark采用RDD模型，spark streaming的DStream实际上也就是一组组小批数据RDD的集合

  • flink基本数据模型是数据流，以及事件（Event）序列

  • 运行时架构

  • spark是批计算，将DAG划分为不同的stage，一个完成后才可以计算下一个

  • flink是标准的流执行模式，一个事件在一个节点处理完后可以直接发往下一个节点处理

2. 快速上手

2.1 批处理实现WordCount

注意代码引用：
flink-streaming-scala_2.12 => org.apache.flink:flink-runtime_2.12:1.12.1 => com.typesafe.akka:akka-actor_2.12:2.5.21，akka就是用scala实现的。即使这里我们用java语言，还是用到了scala实现的包

目录结构：

在这里插入图片描述

pom依赖

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 https://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.4.3</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>
    <groupId>com.atguigu</groupId>
    <artifactId>flink</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <name>flink</name>
    <description>Demo project for Spring Boot</description>

    <properties>
        <maven.compiler.source>8</maven.compiler.source>
        <maven.compiler.target>8</maven.compiler.target>
        <flink.version>1.12.1</flink.version>
        <scala.binary.version>2.12</scala.binary.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-scala_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_${scala.binary.version}</artifactId>
            <version>${flink.version}</version>
        </dependency>
    </dependencies>

</project>

Java代码：

package com.atguigu.flink;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.util.Collector;


public class FlinkApplication {

    public static void main(String[] args) throws Exception {
        // 创建执行环境
        ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment();

        // 从文件中读取数据
        String inputPath = "F:\\视频学习\\ElasticSearch\\02-课程配套代码\\代码\\flink01\\src\\main\\resources\\hello.txt";
        DataSet<String> inputDataSet = env.readTextFile(inputPath);

        // 对数据集进行处理，按空格分词展开，转换成(word, 1)二元组进行统计
        // 按照第一个位置的word分组
        // 按照第二个位置上的数据求和
        DataSet<Tuple2<String, Integer>> resultSet = inputDataSet.flatMap(new MyFlatMapper())
                .groupBy(0)
                .sum(1);

        resultSet.print();
    }

    // 自定义类，实现FlatMapFunction接口
    public static class MyFlatMapper implements FlatMapFunction<String, Tuple2<String, Integer>> {

        @Override
        public void flatMap(String s, Collector<Tuple2<String, Integer>> out) throws Exception {
            // 按空格分词
            String[] words = s.split(" ");
            // 遍历所有word，包成二元组输出
            for (String str : words) {
                out.collect(new Tuple2<>(str, 1));
            }
        }
    }

}

hello.txt 文件

hello java
hello world
hello flink
hello scala
how are
thanks you

执行效果
在这里插入图片描述

注意代码引用jar问题

本人遇到的问题：

public static void main(String[] args) throws Exception {

    // 创建执行环境
    ExecutionEnvironment env =  ExecutionEnvironment.getExecutionEnvironment();

    // 从文件中读取数据
    String inputPath   = "F:\\视频学习\\ElasticSearch\\02-课程配套代码\\代码\\flink01\\src\\main\\resources\\hello.txt";
    // 从文件中读取数据
    DataSet<String> inputDataSet = env.readTextFile(inputPath);

    // 对数据集进行处理，按空格分词展开，转换成(word, 1)二元组进行统计
    // 按照第一个位置的word分组
    // 按照第二个位置上的数据求和
    inputDataSet.flatMap(new MyFlatMapper()).groupBy(0).sum(1);
    inputDataSet.print();
}

在代码编写过程中：
inputDataSet.flatMap(new MyFlatMapper()).groupBy(0).sum(1);
inputDataSet.print();

未对返回值进行指定数据接受集合就开始打印，出现效果如下：

在这里插入图片描述

第一讲结束 。

2.2 流处理实现WordCount

在2.1批处理的基础上，新建一个类进行改动。

  • 批处理=>几组或所有数据到达后才处理；流处理=>有数据来就直接处理，不等数据堆叠到一定数量级

  • 这里不像批处理有groupBy => 所有数据统一处理，而是用流处理的keyBy =>
    每一个数据都对key进行hash计算，进行类似分区的操作，来一个数据就处理一次，所有中间过程都有输出！

  • 并行度：开发环境的并行度默认就是计算机的CPU逻辑核数

在代码中FlinkApplicationTwo 对代码进行修改：

package com.atguigu.flink;

import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.client.program.StreamContextEnvironment;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.util.Collector;


public class FlinkApplicationTwo {

    public static void main(String[] args) throws Exception {

        // 创建流处理执行环境
        StreamExecutionEnvironment env = StreamContextEnvironment.getExecutionEnvironment();

        // 设置并行度，默认值 = 当前计算机的CPU逻辑核数（设置成1即单线程处理）
        // env.setMaxParallelism(32);

        // 从文件中读取数据
        String inputPath = "F:\\视频学习\\ElasticSearch\\02-课程配套代码\\代码\\flink01\\src\\main\\resources\\hello.txt";
        DataStream<String> inputDataStream = env.readTextFile(inputPath);

        // 基于数据流进行转换计算
        DataStream<Tuple2<String,Integer>> resultStream = inputDataStream.flatMap(new FlinkApplication.MyFlatMapper())
                .keyBy(item->item.f0)
                .sum(1);

        resultStream.print();

        // 执行任务
        env.execute();
    }

}

​ 这里env.execute();之前的代码，可以理解为是在定义任务，只有执行env.execute()后，Flink才把前面的代码片段当作一个任务整体（每个线程根据这个任务操作，并行处理流数据）。

输出： 执行效果如下
竖着的前缀–>对应本人电脑为几核的处理器 （1、2、3、4）
在这里插入图片描述

遗留疑问：
1、视频上说 设置以下代码 可以变更系统环境，本人执行发现没有效果；

// 设置并行度，默认值 = 当前计算机的CPU逻辑核数（设置成1即单线程处理）
// env.setMaxParallelism(8);

2、变更条件为2时，出现一下错误；

// 设置并行度，默认值 = 当前计算机的CPU逻辑核数（设置成1即单线程处理）
// env.setMaxParallelism(2);

在这里插入图片描述

上述代码 对应视频路径：
https://www.bilibili.com/video/BV1qy4y1q728?p=8&spm_id_from=pageDriver

2.3 流式数据源测试

1.通过nc -lk 打开一个socket服务，用于模拟实时的流数据

nc -lk 7777

2.代码修改inputStream的部分

学习视频中 讲解老师自己配置的服务器用于接受输入数据，我没有进行测试；只保留了视频截图用作参考。

在这里插入图片描述

对应代码：

package com.atguigu.flink;

import org.apache.flink.api.java.tuple.Tuple2;
import org.apache.flink.client.program.StreamContextEnvironment;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;

public class StreamWordCount {

    public static void main(String[] args) throws Exception {

        // 创建流处理执行环境
        StreamExecutionEnvironment env = StreamContextEnvironment.getExecutionEnvironment();

        // 设置并行度，默认值 = 当前计算机的CPU逻辑核数（设置成1即单线程处理）
        // env.setMaxParallelism(32);

        // 从文件中读取数据
//        String inputPath = "/tmp/Flink_Tutorial/src/main/resources/hello.txt";
//        DataStream<String> inputDataStream = env.readTextFile(inputPath);

        // 从socket文本流读取数据
        DataStream<String> inputDataStream = env.socketTextStream("localhost", 7777);

        // 基于数据流进行转换计算
        DataStream<Tuple2<String,Integer>> resultStream = inputDataStream.flatMap(new FlinkApplication.MyFlatMapper())
                .keyBy(item->item.f0)
                .sum(1);

        resultStream.print();

        // 执行任务
        env.execute();
    }
}

代码对应转换

方式一：
    // 从socket文本流读取数据
    DataStream<String> inputDataStream = env.socketTextStream("localhost", 7777);

方式二：
    // 用parameter tool 工具从程序启动参数中提取配置项
    ParameterTool parameterTool = ParameterTool.fromArgs(args);
    String host = parameterTool.get("host");
    int port = parameterTool.getInt("port");

在这里插入图片描述

https://www.bilibili.com/video/BV1qy4y1q728?p=9&spm_id_from=pageDriver

本文参考网址：
https://ashiamd.github.io/docsify-notes/#/study/BigData/Flink/%E5%B0%9A%E7%A1%85%E8%B0%B7Flink%E5%85%A5%E9%97%A8%E5%88%B0%E5%AE%9E%E6%88%98-%E5%AD%A6%E4%B9%A0%E7%AC%94%E8%AE%B0

如有侵权请联系删除！！！

weixin_771432311
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink入门及实战-下.pptx
09-23
flink学习文档ppt
尚硅谷，flink 笔记.zip
07-20
尚硅谷，flink 笔记
Flink入门及实战-上.pptx
05-24
一份关于Flink的经典教程，对flink技术做全面详细的讲解，对Flink讲解深入，是难得一度的好资料
【学习笔记】尚硅谷大数据项目之Flink实时数仓---DWM层
prague6695的博客
07-22 985
DWM 层部分的代码主要的责任，是通过计算把一种明细转变为另一种明细以应对后续的统计。学完本阶段内容要求掌握
Flink的Table API和Flink SQL
bigdata_wangzhe的博客
03-15 363
基本程序结构 Table API 和 SQL 的程序结构，与流式处理的程序结构十分类似 val tableEnv=。。。 // 创建表的执行环境 // 创建一张表，用于读取数据 tableEnv.connect(...).createTemporaryTable("inputTable") // 注册一张表，用于把计算结果输出 tableEnv.connect(...).createTemporaryTable("outputTable") // 通过 Table API 查询算子，得到一张结果表 val
尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】
upward
06-14 3332
尚硅谷大数据Flink1.17实战教程-笔记01【Flink概述、Flink快速上手】
尚硅谷大数据Flink1.17实战教程-笔记02【Flink部署】
upward
06-19 4196
尚硅谷大数据Flink1.17实战教程-笔记02【部署】
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
prague6695的博客
07-14 3742
【学习笔记】尚硅谷大数据项目之Flink实时数仓---数据采集
Flink 尚硅谷学习笔记
狗剩的专栏
08-05 1519
尚硅谷Flink（Scala版）教程丨清华硕士-武晟然老师主讲 https://www.bilibili.com/video/BV1Qp4y1Y7YN P01.尚硅谷_Flink-Flink简介------------ 07:56 P02.尚硅谷_Flink-Flink应用场景---------- 19:46 P03.尚硅谷_Flink-流式处理的提出---------------- 11:05 P04.尚硅谷_Flink-流式处理的演变--...
尚硅谷大数据Flink1.17实战教程-笔记03【Flink运行时架构】
upward
07-18 1849
尚硅谷大数据Flink1.17实战教程-笔记03【Flink运行时架构】
Flink 文档 资料.zip
10-30
大数据学习必备知识,可以多学习一下 比较多,很多ppt文件,值得学习
Flink从入门到开发实战视频教程
12-28
Apache Flink入门到上手的视频教程，主要介绍了Flink的特性以及使用方式。
尚硅谷大数据之flink教程1
08-08
尚硅谷大数据技术之 Flink第一章 Flink 简介 初识 FlinkFlink 起源于 Stratosphere 项目，Stratosphere 是在 2
flink入门实战
06-15
以flink处理kafka消息流场景为例，将接受到的kafka消息sink到mysql、elastic、hdfs、kafka，通过真实的案例，助你入门flink计算框架。课程案例代码也可移植到其它业务系统，实现快速开发。
Flink入门及实战V1.6.1-2018最新
10-22
Flink入门及实战最新内容分享，包含Flink基本原理及应用场景、Flink vs storm vs sparkStreaming、Flink入门案例-wordCount、Flink集群安装部署standalone+yarn、Flink-HA高可用、Flink scala shell代码调试
IDEA2019 Java连接PostgreSQL数据库实现基础功能增删改查
weixin_42134712的博客
09-04 2482
Java连接PostgreSQL数据库，增删改查 一、Java通过JDBC连接到PostgreSQL数据库 package com.accord; import java.sql.Connection; import java.sql.DriverManager; public class PostgreSqlJdbcConn { @SuppressWarnings(“unused”) public static void main(String args[]) { Connection c = null;
Spring自动扫描无法扫描jar包中bean(services)的解决方法及代码验证
weixin_42134712的博客
01-14 2161
之前，我曾经写过一篇Java遍历包中所有类，但经过一名网友提醒发现，只能适用于项目src中的包，当包在jar里时就无法遍历jar里的类。就此我针对代码进行了细化，功能得到进一步的完善。 第一种情况： 在分享源码之前，先说说我在遍历jar包中的类时所遇到的困难。 这是我测试用的jar包，结构如下： 无论包是在src中还是在jar中，其实根本的思路还是根据给的包域名（如：com.wang.vo.request.hotel.test）定位到包的资源对象。包在src中，我们可以把它当做文件File来进行处理，因此
Java JDBC连接数据库常用jdbc driver和url的写法
weixin_42134712的博客
09-03 1610
Java JDBC连接数据库常用jdbc driver和url的写法 数据源 APACHEKYLIN 版本 1.5、2.2 驱动 org.apache.kylin.jdbc.Driver URL jdbc:kylin://〈hostname>:〈port>/〈kylin_project_name> 数据源 HPVertica 版本 Vertica_7.2.1 驱动 com.vertica.jdbc.Driver URL jdbc:vertic
idea导入项目后不显示项目结构
weixin_42134712的博客
09-06 900
idea导入项目后不显示项目结构 项目导入后，只显示配置文件信息和git配置信息，不显示项目代码结构，需要做如下配置： 导入项目后project，只显示几个文件，不显示项目的结构。 如下操作可解决： 引入项目即可。 ...
大数据从入门到实战 - 第1章 开发环境搭建
最新发布
09-25
学习大数据的重要性在于，它可以帮助我们更好地理解和应对日益增长的数据量，从而为决策和问题解决提供更准确、快速和有效的方法。 在大数据开发中，分布式开发常常面临一些复杂的问题，如服务器之间的通信、远程...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值