60-140-040-使用-DataSink-Data Sink 介绍

最新推荐文章于 2022-11-10 10:08:00 发布
最新推荐文章于 2022-11-10 10:08:00 发布
阅读量636 收藏
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/105276944
版权
大数据-flink 专栏收录该内容
836 篇文章 828 订阅 ¥99.90 ¥99.00
订阅专栏

视界

在这里插入图片描述

1. 概述

​ [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lNHyS8dF-1585825560559)(./00-flink/image-20190926174611925.png)]

​ 如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。（可以是 MySQL、ElasticSearch、Kafka、Cassandra 等）。这里我说下自己目前做告警这块就是把 Compute 计算后的结果 Sink 直接告警出来了（发送告警消息到钉钉群、邮件、短信等），这个 sink 的意思也不一定非得说成要把数据存储到某个地方去。其实官网用的 Connector 来形容要去的地方更合适，这个 Connector 可以有 MySQL、ElasticSearch、Kafka、Cassand

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink-file-sink-common-1.14.3-API文档-中文版.zip
04-07
赠送jar包：flink-file-sink-common-1.14.3.jar 赠送原API文档：flink-file-sink-common-1.14.3-javadoc.jar 赠送源代码：flink-file-sink-common-1.14.3-sources.jar 包含翻译后的API文档：flink-file-sink-...
【06】Flink 之 DataStream API（四）：Data Sink 和 自定义Sink
努力学习的大小宝
05-12 7083
1、DataStream API（一）：Data Sink 1.1、Data Sink介绍 sink是程序的数据输出，可以通过StreamExecutionEnvironment.addSink(sinkFunction)来为程序添加一个sink。 flink提供了大量的已经实现好的sink方法，也可以自定义sink 1.2、Data Sink类型 writeAsText()：将元素以字符串...
Flink学习04——Data Sink 介绍
MLn Blog
07-23 214
Sink 简单说就是将Flink流计算的结果输出到某个地方(Mysql\Redis\Kafka\Cassandra etc)。 从上图可以看到自带的 Sink 都是继承了 RichSinkFunction 抽象类，实现其中的方法。那么我们要是自己定义 Sink 的话其实也是要按照这个方法来做。 这里我说下自己目前做告警这块就是把计算结果的Sink发到kafka和redis中。发送到kafka前面已经说过，这里主要展示下自定义redisSink的写法： 上图将结果的数据流addSink(new 自定义Sin
Flink零基础学习（三） Data Sink讲解和实例
qq_40650378的博客
01-04 330
1.概念： 主要是对经过flink处理后的流所做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方（Kafka、ElasticSearch、Socket、RabbitMQ、JDBC、Cassandra POJO、File、Print 等），简单的讲就是流去向 2.主要参与类（SinkFunction） 可以看到包含上面所说的各种处理类对象 主要是invoke()方法 ...
Flink-Data-Sink.md
最新发布
08-07
Flink_Data_Sink
flink-file-sink-common-1.14.3-API文档-中英对照版.zip
06-06
赠送jar包：flink-file-sink-common-1.14.3.jar； 赠送原API文档：flink-file-sink-common-1.14.3-javadoc.jar； 赠送源代码：flink-file-sink-common-1.14.3-sources.jar； 赠送Maven依赖信息文件：flink-file-sink...
flink-file-sink-common-1.13.2-API文档-中文版.zip
06-05
赠送jar包：flink-file-sink-common-1.13.2.jar； 赠送原API文档：flink-file-sink-common-1.13.2-javadoc.jar； 赠送源代码：flink-file-sink-common-1.13.2-sources.jar； 赠送Maven依赖信息文件：flink-file-sink...
global-carbon-budget:全球碳预算数据包
05-15
ocean-sink.csv 陆地二氧化碳汇（正值代表从大气到陆地的通量） 注释和模型参考 地面接收器 历史二氧化碳预算 注释和参考 history-budget.csv 领土排放 注意事项和方法 territorial-emissions.csv 消费排放量 ...
Flink（八）—— Data Sink 介绍
weixin_42073629的博客
10-14 360
前言 再上一篇文章中讲解了 Flink Data Source ，那么这里就来讲讲 Flink Data Sink 吧。 首先 Sink 的意思是： 大概可以猜到了吧！Data sink 有点把数据存储下来（落库）的意思。 如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系列的操作，操作完后就把计算后的数据结果 Sink 到某个地方。（可以是 MySQL、ElasticSearch、Kafka、Cassandra 等）。这里我说下自己目前
Flink1.8实时数仓项目实战
08-26
《Flink1.8实时数仓项目实战》课程主要基于Flink**稳定版本进行讲解，课程包含Flink DataSet、容错、Connector、Flink SQL以及实时数仓项目。希望通过本课程的学习，大家能快速掌握Flink 批处理和Flink SQL，并通过实时数仓项目快速积累项目经验。
MindSpore在有动态shape的情况下，将data_sink_mode设置为False会出现报错
weixin_45666880的博客
11-10 330
在经过这样的设置之后，代码能在图模式下成功运行。但现在模型遇到了点问题，需要将model.train中的dataset_sink_mode设置为False来debug。但是这样设置后在训练时就会报错。设置为PyNative模式：context.set_context(mode=context.PYNATIVE_MODE)不设置dataset_sink_mode为False的是可以跑起来的。之前设置图模式运行模型的时候提示有动态shape算子，要设置set_inputs。于是我进行了如下设置。
《从0到1学习Flink》—— Data Sink 介绍
http://www.54tianzhisheng.cn/
11-04 744
前言 再上一篇文章中 《从0到1学习Flink》—— Data Source 介绍 讲解了 Flink Data Source ，那么这里就来讲讲 Flink Data Sink 吧。 首先 Sink 的意思是： 大概可以猜到了吧！Data sink 有点把数据存储下来（落库）的意思。 如上图，Source 就是数据的来源，中间的 Compute 其实就是 Flink 干的事情，可以做一系...
《从0到1学习Flink》—— 如何自定义 Data Sink ？
weixin_34237596的博客
11-13 120
<!--more--> 前言 前篇文章 《从0到1学习Flink》—— Data Sink 介绍 介绍了 Flink Data Sink，也介绍了 Flink 自带的 Sink，那么如何自定义自己的 Sink 呢？这篇文章将写一个 demo 教大家将从 Kafka Source 的数据 Sink 到 MySQL 中去。 准备...
SOAPUI测试步骤(七)---DataSink TestStep
可口可乐的博客
09-08 1986
转载地址：http://www.cnblogs.com/zerotest/p/4677879.html 经常您可能想要存放收集的数据保存在外部存储,可能为自定义报告或重用数据在进一步的测试时执行。 TestStep DataSink可以将任意数量的属性值保存到一个支持的格式,包括Excel、JDBC和纯文本文件。 本文将概述如何使用 DataSink的测试也显示一些示
soapUI-DataSink
qq_35100504的博客
10-18 200
1.1.1 DataSink 1.1.1.1 概述 – DataSink 1.1.1.1.1 属性列表 1.1.1.1.2 DataSink工具栏 1.1.1.1.3 DataSink选项 1.1.1.1.4 DataSink类型 1.1.1.1.4.1 SubReport DataSink配置 SubReport Data...
DataSink和MediaOutput的关系
ccskyer的专栏
11-25 1274
在看opencore的打印信息的时候，在输出部分一会Sink一会MIO个，搞不清，看了相关代码总算有点头绪，以函数handleSetVideoSurface为基础说一下 （1）构建一个AndroidSurfaceOutput（针对视频的，如果是音频，就是AndroidAudioOutput或AndroidAudioStream） （2）再构建一个PVMediaOutputNode，继承基本的node接口，并包含指向AndroidSurfaceOutput的指针量，对于视频这就是videonode; （
快速入门Flink(7)——Flink中的流式处理DataSource与DataSinke
大数据记录
09-23 5444
        前几篇文章给大家讲解了个关于Flink批处理相关的技术点，今天给大家将讲解下关于流式处理的DataSource与DataSink ☛（Flink专辑） 一、入门案例 使用Flink的流式处理来计算wordCount 实现步骤： 获取Flink批处理运行环境 构建一个socket源 使用Flink操作进行单词统计 打印 说明：如果 linux 上没有安装 nc 服务 ,使用 yum 安装 yum instal.
DataSink_with_audit
06-11
好的，更具体地说，DataSink_with_audit是一个数据处理组件，它实现了以下功能： 1. 数据提取：从指定的源中提取数据，如关系型数据库、文件系统等。 2. 数据处理：对提取的数据进行加工、转换、清洗等操作，以...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值