Flink流连接器【数据源/接收器】

本文介绍了Flink的预定义数据源和接收器,如文件、Kafka、Cassandra等,并讨论了Apache Bahir中的其他连接器选项。此外,还阐述了异步I/O和可查询状态在数据获取中的角色,以及Flink数据源和接收器的容错保证,确保端到端的精确记录传递。
摘要由CSDN通过智能技术生成

一.预定义的源和接收器

Flink内置了一些基本数据源和接收器,它们始终可用。该预定义的数据源包括文件,目录和Socket,并可以加载集合和迭代器的数据。该预定义的数据接收器支持写入文件,输出信息和异常。

二.捆绑式连接器

连接器提供用于与各种第三方系统接口的代码。当前支持以下系统:

  • Apache Kafka(源/接收器)
  • Apache Cassandra(接收器)
  • Amazon Kinesis Streams(源/接收器)
  • Elasticsearch(接收器)
  • Hadoop文件系统(接收器)
  • RabbitMQ(源/接收器)
  • Apache NiFi(源/接收器)
  • Twitter Streaming API(源)
  • Google PubSub(源/接收器)

请记住,要在应用程序中使用这些连接器之一,通常需要其他第三方组件,例如,用于数据存储或消息队列的服务器。还请注意,列出的流连接器是Flink项目的一部分,并包含在源代码版本中,但它们不包含在二进制发行版中。

三.Apache Bahir中的连接器

通过Apache Bahir发布了用于Flink的其他流连接器,包括:

  • Apache ActiveMQ(源/接收器)
  • Apache Flume(接收器࿰
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值