2018年10月_anickname

12月 11月 10月 09月 08月 07月 06月 05月

原创 Flink读写系列之-读Kafka并写入Kafka

读写Kafka比较简单，官方提供了connector，也提供了例子可以参看，官网例子的GitHub地址：https://github.com/apache/flink/tree/master/flink-examples/flink-examples-streaming/src/main/java/org/apache/flink/streaming/examples/kafka下面只做简...

2018-10-22 10:56:57 7905 2

原创 Flink读写系列之-读HBase并写入HBase

这里读HBase提供两种方式，一种是继承RichSourceFunction，重写父类方法，一种是实现OutputFormat接口，具体代码如下：方式一：继承RichSourceFunctionpackage com.my.flink.utils.streaming.hbase;import com.my.flink.utils.config.ConfigKeys;import o...

2018-10-22 10:37:36 22730

在Flink文档中，提供connector读取源数据和把处理结果存储到外部系统中。但是没有提供数据库的connector，如果要读写数据库，官网给出了异步IO(Asynchronous I/O)专门用于访问外部数据，详细可看：https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/stream/operators/asyn...

2018-10-19 14:48:59 27909 2

原创 Flink爬坑问题总结

一.隐式转换问题错误：could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInformation[String]1.导入包import org.apache.flink.api.scala._2.在类中显示定义隐式转换，如：...

2018-10-19 11:30:34 5160

翻译 Apache Flink-编程指南-概念-编程模型

数据流编程模型抽象层级程序和数据流并行数据流窗口事件状态化计算为容错的检查点流之上的批处理下一步抽象层级Flink为开发流/批处理应用程序提供不能层级的抽象。最低级别的抽象简单提供状态化流处理。通过Process Function嵌入到DataStream API中。允许用户使用一致性容错状态来自由处理来自一个或多个流的事件。此外，用户可以注册...

2018-10-12 16:54:41 353

翻译 Apache Flink-下载

下载最新版本 (v1.6.1) 二进制源码版本信息验证哈希和签名 Maven依赖旧版本更新策略所有文档版本快照 (Nightly Builds)最新稳定版本是1.6.1，hadoop安装不需要使用flink，用户使用flink也不需要任何hadoop依赖，推荐使用没有捆绑任何hadoop库的版本。如果计划和hadoop一起使用(YARN上运行, 连接HDF...

2018-10-11 15:56:47 2345

翻译 Apache Flink-常见问答

通常以下问题在Flink项目中经常被问到。如果有更多问题，请查询相关文档或在社区中提问。目录： Apache Flink只适用于(准)实时的应用场景吗？如何一切都是流，为什么Flink中会存在DataStream API和DataSet API? Flink如何和Hadoop栈关联起来？ Flink还可以运行在哪些堆栈上？使用Flink的前提条件是什么？ Flink支持什...

2018-10-11 14:32:06 433

翻译 Apache Flink-技术支持

Apache Flink为全球许多公司和企业的关键业务提供强有力支持，本页会列出一些运行着有趣的flink应用的知名用户，并给出链接，以便于查看细节。更多的Flink用户列在维基百科的Powered by Flink directory下面，注意列表并不全面，我们仅仅把哪些要求列出的用户放上去。如果你也想包含在列出的列表中，请通过邮件联系我们。使用Flink的有很多公司，列表中有国内的...

2018-10-11 11:01:50 156

翻译 Apache Flink-用户场景

Apache Flink在需要运行各种类型的应用程序方面是个不错的选择，因为其具有丰富的特征集。Flink的特征包含了处理流和批处理，复杂的状态管理，事件时间处理语义和对状态的"正好一次"一致性保证。而且，Flink可以部署在不同的资源管理器之上，如YARN，Apache Mesos，和k8s，但是也可以在裸机上单独的集群上运行。当配置高可用后，Flink就不存在单点故障。Flink已经被证...

2018-10-10 21:38:55 1602

翻译 Apache Flink-什么是Apache Flink？

Apache Flink是一个用于在有界和无界数据之上进行状态计算的分布式处理引擎和框架。其被设计出可以运行在所有常见的集群环境中，在任何规模之上进行内存计算。下面，让我了解一下Flink架构的一些重要特性。处理有界和无界数据任何类型数据的都可以看成像事件流一样产生，信用卡交易数据，传感器测量数据，机器日志以及网站上用户交互数据和手机应用数据，所有这些数据都可以当...

2018-10-09 21:05:22 1482

翻译 Apache Flink-数据流之上的有状态的计算

官网给出的Flink应用场景图：1.状态计算。2.从上图看出的应用场景有？-----事件驱动式的流处理-----ETL管道-----数据分析3.一般性架构从架构上来说与一般的流式架构没有太大的不同，任务调度和资源管理可以放在我们熟悉的yarn上进行，flink的特点如下：所有流式应用场景：事件驱动应用程序，流和批处理分析，数据管道和ETL正确性保证："正...

2018-10-08 19:32:05 2350