flink实战--自定义source

已于 2022-02-24 10:27:16 修改
阅读量4.3k 收藏 8
点赞数 2
分类专栏： Flink学习必读系列 文章标签： flink  自定义source flink 读取redis flink自定义数据源 RichSourceFunction flink正则读取hdfs
于 2019-03-21 22:02:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aA518189/article/details/88726467
版权

扫一扫加入大数据公众号和技术交流群，了解更多大数据技术，还有免费资料等你哦

Data Source简介

           数据的来源是flink程序从中读取输入的地方。我们可以使用env.addSource（sourceFunction）或者env.createInput()将源添加到程序中。flink附带大量预先实现好的各种读取数据源的函数，其余的需求需要我们通过为非并行源去实SourceFunction接口或者为并行源实现ParallelSourceFunction接口或扩展RichParallelSourceFunction来编写满足自己业务需要的定制源。

Flink已经实现的数据源

 基于文件

readTextFile（path）: 读取文本文件，该文件要符合TextInputFormat规范，逐行读取并作为字符串返回,即可以是本地文件也可以是HDFS文件，读取hdfs文件如下：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
阿华田512
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
flink-1.14.0-bin-scala_2.11.tgz
07-18
flink-1.14.0-bin-scala_2.11.tgz
Flink编程三大组件（一）——Source
a805814077的博客
07-21 1272
Flink编程三大组件详解
终于有人将Flink里的addSource,fromSource 说清楚了
Kartist139的博客
03-05 456
addSource与fromSource
聊聊flink的InputFormatSourceFunction
weixin_34306676的博客
11-29 1525
序 本文主要研究一下flink的InputFormatSourceFunction 实例 final StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); IteratorInputFormat iteratorInputFormat = new ...
Flink流处理如何自定义Source
别人笑我太疯癫，我笑他人看不穿。
04-18 324
Flink支持自定义数据源，下面我给大家准备一个Flink自定义数据源实现每隔一秒发送一条数据 pom如下 <?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://mave
Flink-04-Flink自定义Source
TRX的博客
04-01 1471
1、实现并行度为1 的自定义Source 实现SourceFunction接口–一定要指定数据类型 package com.test.streaming.customSource; import org.apache.flink.streaming.api.functions.source.SourceFunction; /** * @Author:renxin.tang * @Des...
4、如何在flink任务中读取外部数据源（DataStream API）
向热爱自己一样，热爱这个世界。
03-31 2245
用一个例子告诉你 怎样在Flink DataStream API 中读取数据源(Scala API)
Flink JDBCInputFormat并行度
黑暗之神的博客
08-05 896
先贴出代码 public static void main(String[] args) { //System.getProperties().setProperty("oracle.jdbc.J2EE13Compliant", "true"); ExecutionEnvironment env = ExecutionEnvironment.getExecutionEnvironment(); int fetchSize = 7; N
flink之addSource & fromSource 、addSink & SinkTo
m0_64640191的博客
03-30 4449
fromSource和SinkTo，是flink提供的简易的读取和输出的算子，建议优先使用fromSource和SinkTo，并结合flink官方文档；说个题外话，在1.14以前flink Kafka都是使用的是addSource，实现的是ParalismSourceFunction以及一些容错的类，1.14发布以后采用的fromSource,使用的架构是。inputFormat：定义读取文件的类，具体可以看有哪些实现类，根据需要读取文件的类型定，也可以自定义；
Flink 实战 - 源码 java 源码demo
最新发布
03-19
Flink 实战 - 源码 java demo源码，同<<Flink 实战>>一书同步
apache-doris-flink-connector-1.14_2.12-1.0.3
05-05
Flink Doris Connector（apache-doris-flink-connector-1.14_2.12-1.0.3-incubating-src.tar.gz） Flink Doris Connector Version：1.0.3 Flink Version：1.14 Scala Version：2.12 Apache Doris是一个现代MPP...
flink-1.13.6_cdc
07-07
flink-1.13.6_cdc 部署资源包
flink-shaded-hadoop-3下载
05-19
flink-shaded-hadoop-3下载
flink从数据库读数据
weixin_46054799的博客
03-22 4377
package com.example.flink; import org.apache.flink.api.common.typeinfo.BasicTypeInfo; import org.apache.flink.api.common.typeinfo.TypeInformation; import org.apache.flink.api.java.ExecutionEnvironment; import org.apache.flink.api.java.operators.DataSourc.
Flink自定义Source实现对HDFS文件进行tail -f操作
upupfeng的博客
02-12 2416
背景 需要读取HDFS上变化的日志文件，对每一行进行处理，就是类似于Linux中tail -f实现的功能。 看了看好像Spark和Flink都没有类似的支持，于是就用Flink自定义了Source实现了这个功能。 实现思路 维持一个当前读取位置的偏移量，然后每隔几秒去看下文件的大小是否大于当前偏移量。如果最新文件大小大于当前偏移量就读取数据，并将当前偏移量设置为最新的文件大小；反之，不做任何操作。 以下的代码，还没有把当前读取位置存储到状态中，如果重启会重头开始读。 实现代码 自定义Source packa
Flink专题-Source
a284365的博客
03-18 2201
Flink常用的数据源，Collection，file,kafka以及自定义（UDF）数据源的实现
Flink源码学习二 用户代码逻辑计划生成 1.17分支
weixin_47019045的博客
10-11 1029
接上节flink调用用户代码的main方法后，用户代码中一般会有如下获取flink环境的代码这里获取的环境再命令行客户的执行这个方法是就已经初始化好了，这个env里面封装了一些用户环境配置、streaming执行配置等。
Flink系列：自定义Source Function
NIO4444
06-10 1180
扩展 Flink系列：自定义Source、map、flatMap、Sink Function
Flink自定义source（单并行度和多并行度）
lck_csdn的博客
09-23 3072
flink自定义source（单并行度和多并行度）
flink实战--flinksql使用Streaming Sink将数据流写入文件系统
07-27
对于使用Flink SQL将数据流写入文件系统，您可以通过以下步骤来实现： 1. 导入所需的依赖项 首先，您需要在您的项目中添加Flink SQL和所选文件系统的相关依赖项。例如，如果您想将数据写入HDFS文件系统，您需要...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿华田512

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值