分布式实时计算课程学习（2.4）—— Sink API

最新推荐文章于 2023-12-28 01:18:13 发布
最新推荐文章于 2023-12-28 01:18:13 发布
阅读量447 收藏
点赞数
分类专栏： 分布式实时计算 文章标签： flink java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46880810/article/details/116275964
版权

目录

官方提供了一部分的框架的 sink。除此以外，需要用户自定义实现 sink.

一.kafka sink

在这里插入图片描述

示例：

1.启动zk、kafka：

$ zkServer.sh start
$ cd /usr/local/kafka
$ bin/kafka-server-start.sh config/server.properties
在这里插入图片描述

2.在kafka上创建一个topic t2：

在这里插入图片描述

3.在realtime工程的pom.xml文件中添加如下依赖（如果之前已添加则忽略）：

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-connector-kafka-0.11_2.11</artifactId>
    <version>1.11.3</version>
</dependency>
<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>0.11.0.3</version>
</dependency>

4.编写代码如下：

在这里插入图片描述

5.开启ubuntu端的nc控制台：

在这里插入图片描述

6.运行IDEA程序，在nc控制台不断输入文本：

在这里插入图片描述
此时可以看到Kafka的对应topic中已经有计算后的数据：的输出如下：
在这里插入图片描述

7. 最终代码

package com.edu.neusoft.bigdata.flink.sink;

import com.edu.neusoft.bigdata.flink.entity.WordCount;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011;
import org.apache.flink.util.Collector;

import java.util.Properties;

public class KafkaSink {

    public static void main(String[] args) throws Exception {

        //1.初始化env
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //2.source
        DataStreamSource<String> socketSource = env.socketTextStream("192.168.237.128", 9001, "\n");
        //3.transformation
        DataStream<String> stream = socketSource.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public void flatMap(String line, Collector<String> out) throws Exception {
                String[] words = line.split(" ");
                for (String word : words) {
                    out.collect(word);
                }
            }
        }).map(new MapFunction<String, WordCount>() {
            @Override
            public WordCount map(String word) throws Exception {
                return new WordCount(word, 1);
            }
        })
                .keyBy("word")
                .timeWindow(Time.seconds(5),Time.seconds(1))
                .sum("count")
                .map(w -> w.toString());
//
        //4.sink
        //Kafka配置
        String brokerList = "192.168.237.128:9092";
        String topic = "t2";
        Properties prop = new Properties();
        prop.setProperty("bootstrap.servers",brokerList);
        //初始化FlinkKafkaProducer
        FlinkKafkaProducer011<String> kafkaProducer = new FlinkKafkaProducer011<>(brokerList, topic, new SimpleStringSchema());

        stream.addSink(kafkaProducer);
        stream.print().setParallelism(1);
//        stream.print().setParallelism(1);
        //5.运行env
        env.execute("SocketWindowWordCount2Kafka");
    }

}

二.MySQL sink

注意：Flink并未直接提供MySQL可用的Sink，所以要通过自定义Sink的方式实现一个MysqlSink。
在这里插入图片描述
在jdbc里最耗时的是建立连接.
在这里插入图片描述

1.启动MySQL服务：

$ sudo service mysql stop
$ sudo service mysql start
可以通过执行如下命令，查看服务是否启动成功：
$ sudo netstat -tap | grep mysql
在这里插入图片描述

也可以通过如下命令查看服务是否启动成功：
$ sudo service mysql status
在这里插入图片描述

2.开启MySQL客户端（这里采用MySQL workbench），创建一个数据realtime：

并在该realtime库下创建一个表wordcount：

CREATE TABLE wordcount (
word varchar(50) COLLATE utf8_unicode_ci DEFAULT NULL,
count int(11) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_unicode_ci
在这里插入图片描述

3. 在realtime工程的pom.xml中添加如下依赖：

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.40</version>
</dependency>

4.编写代码如下：

在这里插入图片描述
还是除了sink部分其他都和之前Kafka sink一样，这里可以看到addsink需要的是一个sinkfunction。那么问题来了sinkfunction到底是个什么？
在这里插入图片描述
我们按住CTRL键点击addsink查看它的源码，所以我们就可以知道addsink传进去的是一个sinkfunction实现类的对象在这里插入图片描述
然后我们在点击sinkfunction，发现它是一个interface（接口），

在这里插入图片描述
然后我们按住CTRL+f3查看实现的方法都有什么，发现是invoke
在这里插入图片描述
在这里插入图片描述
所以说白了我们就是要实现一个sinkfunction的接口类实现里面的invoke方法，invoke里写jdbc的代码。然后我们按住f4查看它继承的体系，在这里插入图片描述
然后我们假如点击richsinkfunction，发现它是继承了richsinkfunction，它是一个abstract抽象类，所以它底下还有相应的实现类
在这里插入图片描述
那这样的话我们就可以写mysqlsinkfunction这个接口,这里有一个要实现的方法override implement

在这里插入图片描述
这个invoke，它主要干什么我们自己说了算，我们必须要实现的方法就是连接mysql
在这里插入图片描述
invoke里连接mysql主要分三步骤，那么我们看一下invoke方法的说明
在这里插入图片描述
到这里的代码

package com.edu.neusoft.bigdata.flink.sink;

import com.edu.neusoft.bigdata.flink.entity.WordCount;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.SinkFunction;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class MySQLSink {

    public static void main(String[] args) throws Exception {

        //1.初始化env
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //2.source
        DataStreamSource<String> socketSource = env.socketTextStream("192.168.237.128", 9001, "\n");
        //3.transformation
        DataStream<WordCount> stream = socketSource.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public void flatMap(String line, Collector<String> out) throws Exception {
                String[] words = line.split(" ");
                for (String word : words) {
                    out.collect(word);
                }
            }
        }).map(new MapFunction<String, WordCount>() {
            @Override
            public WordCount map(String word) throws Exception {
                return new WordCount(word, 1);
            }
        })
                .keyBy("word")
                .timeWindow(Time.seconds(5),Time.seconds(1))
                .sum("count");

//
        //4.sink
        MysqlSinkFunction sink = new MysqlSinkFunction();
        stream.addSink(sink);
        stream.print();

        //5.运行env
        env.execute("SocketWindowWordCount2Kafka");
    }

}


class MysqlSinkFunction implements SinkFunction<WordCount>{
    private Connection connection = null;
    private PreparedStatement preparedStatement;
    String drivername = "com.mysql.jdbc.Driver";
    String dburl = "jdbc:mysql://192.168.237.128:3306/realtime?serverTimezone=GMT%2B8&useSSL=false";
    String username = "root";
    String password = "hadoop";
    String sql = "insert into wordcount(`word`,`count`) values(?,?)";
    @Override
    public void invoke(WordCount w, Context context) throws Exception {
        //1.建立connection
        if (connection == null) {
            Class.forName(drivername);
            connection = DriverManager.getConnection(dburl, username, password);
        }
        if (preparedStatement == null) {
            preparedStatement = connection.prepareStatement(sql);
        }

        //执行insert
        preparedStatement.setString(1, w.getWord());
        preparedStatement.setInt(2, w.getCount());
        preparedStatement.executeUpdate();
        //关闭连接
        if (preparedStatement != null) {
            preparedStatement.close();
        }
        preparedStatement = null;
        if (connection != null) {
            connection.close();
        }
        connection = null;

    }
}

其实写到这里问们就完成我们要实现的方法了，但是在实际生产中的数据瞬间这个程序就会挂掉，因为每执行一个sql语句都会创建一个连接断开一个连接，成本代价太高，这样就非常的慢。那我们应该怎么改进呢，我们可不可以按照一个线程创建一个连接，这样我们就会涉及到一个叫生命周期的东西。
在这里插入图片描述
我们现在实现最核心的代码是invoke，注释里写道invoke会把拿到的值一条一条的处理，然后我们刚刚按f4查看继承体系时发现它继承了一个叫RichSinkFunction，点进去一看是一个抽象类aabstract class，抽象类不能直接new。RichSinkFunction处了implements一个sinkfunction还extends了一个叫AbstratRichFunction，那这个类是什么呢
在这里插入图片描述
点进去它也是一个抽象类，它的方法里有一个叫 Default life cycle methods（生命周期）
在这里插入图片描述
那么我们重新编写这个类，这回我们extends那个叫RichSinkFunction。这回我们实现两个功能一个是invoke一个是生命周期。
在这里插入图片描述

在这里插入图片描述

5.最终代码

package com.edu.neusoft.bigdata.flink.sink;

import com.edu.neusoft.bigdata.flink.entity.WordCount;
import org.apache.flink.api.common.functions.FlatMapFunction;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.streaming.api.datastream.DataStream;
import org.apache.flink.streaming.api.datastream.DataStreamSource;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.sink.RichSinkFunction;
import org.apache.flink.streaming.api.functions.sink.SinkFunction;
import org.apache.flink.streaming.api.windowing.time.Time;
import org.apache.flink.util.Collector;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class MySQLSink {

    public static void main(String[] args) throws Exception {

        //1.初始化env
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //2.source
        DataStreamSource<String> socketSource = env.socketTextStream("192.168.237.128", 9001, "\n");
        //3.transformation
        DataStream<WordCount> stream = socketSource.flatMap(new FlatMapFunction<String, String>() {
            @Override
            public void flatMap(String line, Collector<String> out) throws Exception {
                String[] words = line.split(" ");
                for (String word : words) {
                    out.collect(word);
                }
            }
        }).map(new MapFunction<String, WordCount>() {
            @Override
            public WordCount map(String word) throws Exception {
                return new WordCount(word, 1);
            }
        })
                .keyBy("word")
                .timeWindow(Time.seconds(5),Time.seconds(1))
                .sum("count");

//
        //4.sink
        MysqlSinkFunction sink = new MysqlSinkFunction();
        stream.addSink(sink);
        stream.print();

        //5.运行env
        env.execute("SocketWindowWordCount2Kafka");
    }

}



class MysqlSinkFunction extends RichSinkFunction<WordCount> {
    private Connection connection = null;
    private PreparedStatement preparedStatement;
    String drivername = "com.mysql.jdbc.Driver";
    String dburl = "jdbc:mysql://192.168.237.128:3306/realtime?serverTimezone=GMT%2B8&useSSL=false";
    String username = "root";
    String password = "hadoop";


    @Override
    public void open(Configuration parameters) throws Exception {
        //建立连接connection
        String sql = "insert into wordcount(`word`,`count`) values(?,?)";
        if (connection == null) {
            Class.forName(drivername);
            connection = DriverManager.getConnection(dburl, username, password);
        }
        if (preparedStatement == null) {
            preparedStatement = connection.prepareStatement(sql);
        }
    }

    @Override
    public void close() throws Exception {
        //关闭连接
        if (preparedStatement != null) {
            preparedStatement.close();
        }
        preparedStatement = null;
        if (connection != null) {
            connection.close();
        }
        connection = null;
    }

    @Override
    public void invoke(WordCount w, SinkFunction.Context context) throws Exception {
        //逐条insert
        preparedStatement.setString(1, w.getWord());
        preparedStatement.setInt(2, w.getCount());
        preparedStatement.executeUpdate();
    }
}

6.开启ubuntu端的nc控制台

在这里插入图片描述

7.运行IDEA程序，在nc控制台不断输入文本：

在这里插入图片描述

此时可以看到IDEA控制台的输出如下：
在这里插入图片描述

8.观察MySQL workbench客户端，可以看到Flink产生的数据已经被实时存储在MySQL中：

在这里插入图片描述

黑马大神
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
0737-1.6.1-CDSW分布式计算
Hadoop_SC的博客
01-22 430
简介 Cloudera Data Science Workbench为从单个交互式会话中启动多个称为workers的引擎实例提供了基本支持。任何R或Python会话均可用于生成workers。这些工作程序可以配置为在启动时运行脚本（例如Python文件）或命令中。 可以使用 launch_workers函数。以及另外两个函数是list_workers 和 list_workers。来自所有工作程序...
Encog3 in Java ： 第三章 Encog Workbench
码农
04-08 670
•Encog Workbench的结构•一个简单的XOR示例•使用EncogAnalyst•Encog分析报告Encog Workbench是一个GUI应用程序，它能够学习大量不同的机器学习任务而不用编写java或者c#代码，EncogWorkbench本身是用java编写的，但生成的文件，可以使用于任何Encog框架。EncogWorkbench是分布式，作为一个单一的自...
ANSYS mechanical如何在Workbench环境中使用高性能计算
fangzhenxiu6688的博客
11-24 3282
在Workbench界面环境下，打开Model模块，在菜单中依次选择Tools＞Solve Process Settings＞Advanced，进行CPU设置选择对应的CPU核数（建议关闭超线程，设置的核数不能超过工作站的CPU物理核数），默认使用分布式求解选项。因此对于ANSYS mechanical在Workbench环境中使用高性能计算的方法共有两种：一种是直接通过workbench界面进行设置并行计算求解，在本地的工作站进行求解计算；方法一：输出为dat文件，设置文件名为：file.dat。
16 - Workbench分析类型与通用求解设置
陶小桃Blog
10-08 1万+
一、workbench的分析类型 隐式分析、显式分析 静力分析 模态分析 反应谱分析 谐响应分析 特征值屈曲分析 瞬态分析 线性分析 非线性分析 材料非线性分析 几何非线性分析 接触非线性分析 二、Workbench通用求解设置 （非线性载荷） 荷载步、荷载子步、时间 Time、Nsubst、Deltim、Autots 有的载荷不是直接加在上面，而是各渐变的过程。 除瞬态分析外，时间只是一个记录器，反应载荷的施加过程 在瞬态分析中，时间代表真实的时间，不可随意更...
ANSYS Workbench并行计算设置方法
热门推荐
weixin_48988760的博客
01-09 2万+
在有限元分析中，对于复杂的结构分析、流体分析、非线性分析通常都需要较长的计算时间，利用ANSYS Workbench的并行求解功能，可以充分发挥计算机的性能，大大缩短仿真分析的求解时间。 在ANSYS Workbench中开启并行计算，首先进入Mechanical求解界面，单击菜单Tools > Solve Process Settings。 单击对话框中的Advanced 按钮，在弹出的Advanced Properties对话框中，即可对并行计算的CPU数量、GPU加速情况进行设置。ANSYS
doxia-sink-api-1.0.jar
01-15
doxia-sink-api-1.0.jar
guessing_words.rar_C++课程设计_sink8kc_猜单词游戏
09-21
一个猜单词游戏。两人游戏时，由一个玩家给出一个单词，在人与计算机游戏时，由计算机给出一个单词，另一个玩家根据组成单词的字母个数猜出单词，猜的次数可以指定，若猜不中，显示一个上吊的人形。
三维涡流计算_用于确定source_ sink_流线_并画图_matlab
03-19
资源名：三维涡流计算_用于确定source_ sink_流线_并画图_matlab 资源类型：matlab项目全套源码 源码说明： 全部项目源码都是经过测试校正后百分百成功运行的，如果您下载后不能运行可联系我进行指导或者更换。 适合...
Spark分布式内存计算框架视频教程
10-21
6.集成Kafka（Source和Sink） 7.案例：物联网设备数据分析 8.事件时间窗口分析 9.Streaming Deduplication数据去重 10.Continues Processing连续流处理 第七章、实时综合实战 1.综合实战概述（需求、环境搭建和项目...
flink-file-sink-common-1.14.3-API文档-中文版.zip
04-07
赠送原API文档：flink-file-sink-common-1.14.3-javadoc.jar 赠送源代码：flink-file-sink-common-1.14.3-sources.jar 包含翻译后的API文档：flink-file-sink-common-1.14.3-javadoc-API文档-中文(简体)版.zip ...
LINUX集群技术构建ANSYS分布式高性能计算平台
youngstonep的专栏
11-30 9772
（转载请注明出处）随着仿真理论和求解技术越来越成熟，人们对产品虚拟的开发要求越来越高，系统级多体耦合和多物理场耦合计算已经成为计算机仿真的发展方向，用户不在追求单一个体在单一物理场（如结构力学，流体力学）的仿真结果，而是将研究对象的完整系统（如整机、整车）或影响系统性能的所有物理因素一次性纳入计算范畴，重点考察各物理因素综合起来对分析对象或者对整个系统的影响。随着计算机应用的日趋复杂，处理问题的规
《ANSYS Workbench有限元分析实例详解（静力学）》——2.5　Windows界面相应操作
weixin_33963189的博客
05-02 3031
本节书摘来自异步社区《ANSYS Workbench有限元分析实例详解（静力学）》一书中的第2章，第2.5节,作者： 周炬 , 苏金英 更多章节内容可以访问云栖社区“异步社区”公众号查看。 2.5　Windows界面相应操作 一般有限元软件都基于Windows平台操作，读者对Windows的操作能力也不尽相同，这里简要介绍一些ANSYS软件相关的Wind...
ANSYS12分布式计算笔记
纯月部落
02-28 4272
Windows 2003 r2 64位版本中安装64位的ANSYS 1 安装ANSYS预备软件 2 安装ANSYS12 3 安装HP-MPI，并将安装后的bin目录加入到Path路径中 主机和从机均安装相同版本，从机使用主机上的License Server。 运行分布式ANSYS 打开Mechanical APDL Product Launcher
分布式系列之分布式实时计算系统Storm解析
牧羊人的方向
08-16 1916
Storm作为分布式实时计算框架，已广泛使用多年，形成成熟的大数据分析和实时计算平台体系。本文简要介绍Storm的架构和一些概念如Topology、Spout和Bolt，以作了解。
分布式实时计算—Storm—基础介绍
sanmi8276的博客
02-12 844
一、概念 Storm是一个免费并开源的分布式实时计算系统。利用Storm可以很容易做到可靠地处理无限的 数据流，像Hadoop批量处理大数据一样，Storm可以实时处理数据。 二、集群架构 27.1.1.1. Nimbus(master-代码分发给Supervisor) Storm集群的Master节点，负责分发用户代码，指派给具体的Supervisor节点上的Worker节 点，去运行Topology对应的组件(Spout/Bolt)的Task。 ...
分布式系统的实时数据处理与流计算：原理与实践
最新发布
禅与计算机程序设计艺术
12-28 719
1.背景介绍 随着互联网和大数据时代的到来，实时数据处理和流计算技术已经成为许多应用场景的关键技术之一。这篇文章将从原理、算法、实例、未来发展等方面进行全面讲解。 1.1 背景概述 实时数据处理和流计算技术主要应用于处理大规模、高速、不可预知的数据流。这类应用场景包括但不限于： 网络流量监控和分析，如实时检测网络攻击、网络流量异常等； 金融交易系统，如实时交易处理、风险控制、交易撤销等；...
分布式实时计算—Spark—Spark Core
sanmi8276的博客
01-25 689
原文作者：bingoabin 原文地址：Spark Core 目录 一、Spark Core 1. 主要功能 2. Spark Core子框架 3. Spark架构 4. Spark计算模型 二、组件 1. 介绍 2. RDD 3. DataFrame 4. DataSet 6. RDD和DataSet比较 7. DataFrame和DataSet比较 8. 应用场景 一、Spark Core Apache Spark 是加州大学伯克利分校的 AMP Labs 开发的.
mysql workbench怎么样_MySQL Workbench好不好
weixin_29698063的博客
01-19 712
展开全部MySQL Workbench 使用1)Server Administration* 使用MySQLInstanceConfig配置MySQL以Service运行；* 然后使用MySQL Workbench的62616964757a686964616fe4b893e5b19e31333337613761Server Administration的New Server Instance创建新...
Flink-sink的种类和基本使用
Zong_0915的博客
08-04 1578
Flink-sink的种类和基本使用PrintSink编号问题addSink的使用（自定义Sink）csvSink的使用 flink中的sink相当于spark中的action，是划分subTask的重要依据之一。 PrintSink编号问题 public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getE
flink写入 mysql_flink sql实时计算当天pv写入mysql
05-17
要将实时计算的当天 PV 写入 MySQL，可以使用 Flink 的 JDBC Connector 连接器，将结果输出到 MySQL 数据库中。 以下是一个示例代码： ``` DataStream, Integer>> pvStream = ...; // 获取实时计算的当天 PV 数据...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值