Flink
文章平均质量分 92
雾幻
种一棵树最好的时间是十年前,而后是现在
展开
-
Flink安装与运行——flink on yarn
Flink下载地址:https://flink.apache.org/downloads.html因目前Flink尚未集成hadoop2.9版本,因此选择2.7稳定版进行安装(兼容)以下操作请在集群的所有节点进行解压重命名$ tar -zxvf flink-1.7.1-bin-hadoop27-scala_2.11.tgz /opt/beh/core $ mv flink-1.7.1...原创 2019-01-22 20:57:57 · 14376 阅读 · 0 评论 -
flink on yarn运行异常NoClassDefFoundError: com/sun/jersey/api/client/config/ClientConfig
flink on yarn模式在运行时发生如下异常信息18/08/25 17:29:28 WARN ObjectStore: Version information not found in metastore. hive.metastore.schema.verification is not enabled so recording the schema version 1.2.018/0...原创 2019-01-22 21:05:07 · 3675 阅读 · 0 评论 -
Flink高可用集群搭建
一、部署说明flink是apache一款大数据实时计算应用,在生产环境中,用来实时计算应用产生的日志,数据等,满足预警,入库等需求二、系统环境系统版本:centos 7.2java版本: jdk 1.8.0_161zookeeper版本: zookeeper-3.4.9hadoop版本: Hadoop-2.8.3.tar.gzflink版本: flink-1.7.1四个机器,其中1...原创 2019-01-23 10:16:35 · 2626 阅读 · 0 评论 -
Flink简介
1.1 Flink的引入这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖了其他分布式计算的系统身影。就像 Flink,也就在这个时候默默的发展着。在国外一些社区,有很多人将大数据的计算引擎分成...原创 2019-04-24 19:12:56 · 857 阅读 · 0 评论 -
Flink分层架构
2.1 Flink结构与支持Flink是一个分层架构的系统,不同层的栈建立在其下层基础上,并且每一层所包含的组件都提供了特定的抽象,用来服务于上层组件。Flink分层的组件栈如下图所示(从下至上):部署:Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行, 也能部署在云上。运行:Flink 的核心是分布式流式数据引擎,意味着数据以一次一个事件的形式...原创 2019-04-24 19:21:44 · 1731 阅读 · 0 评论 -
Flink核心组件
Flink系统的架构与Spark类似,是一个基于Master-Slave风格的架构。可以支持本地的快速迭代,以及一些环形的迭代任务。并且 Flink 可以定制化内存管理。在这点,如果要对比 Flink 和 Spark 的话,Flink 并没有将内存完全交给应用层。这也是为什么 Spark 相对于 Flink,更容易出现 OOM的原因(out of memory)。就框架本身与应用场景来说,Flin...原创 2019-04-24 19:55:03 · 4303 阅读 · 0 评论 -
Flink编程模型
4.1 抽象的层级有状态的数据流处理层。最底层的抽象仅仅提供有状态的数据流,它通过处理函数(Process Function)嵌入到数据流api(DataStream API). 用户可以通过它自由的处理单流或者多流,并保持一致性和容错。同时用户可以注册事件时间和处理时间的回调处理,以实现复杂的计算逻辑。核心API层,DataSet 处理有界的数据集,DataStream 处理有界或者无界的...原创 2019-04-24 20:27:40 · 826 阅读 · 0 评论