![](https://img-blog.csdnimg.cn/20200902132750234.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
Flink实时计算引擎
文章平均质量分 92
Flink
plenilune-望月
这个作者很懒,什么都没留下…
展开
-
Flink (四) Flink 的安装和部署- Flink on Yarn 模式 / 集群HA / 并行度和Slot
接上一篇Flink (三) Flink 的安装和部署- -Standalone模式3. Flink 提交到 YarnFlink on Yarn 模式的原理是依靠 YARN 来调度 Flink 任务,目前在企业中使用较多。这种模式的好处是可以充分利用集群资源,提高集群机器的利用率,并且只需要 1 套 Hadoop集群,就可以执行 MapReduce 和 Spark 任务,还可以执行 Flink 任务等,操作非常方便,不需要维护多套集群,运维方面也很轻松。Flink on Yarn 模式需要依赖 H..原创 2021-01-28 16:13:50 · 1938 阅读 · 0 评论 -
Flink (三) Flink 的安装和部署-Standalone模式
Flink 的安装和部署Flink 的安装和部署主要分为本地(单机)模式和集群模式,其中本地模式只需直接解压就可以使用,不以修改任何参数,一般在做一些简单测试的时候使用。本地模式在我们的课程里面不再赘述。集群模式包含:a、 Standalone。b、 Flink on Yarn。c、 Mesos。d、 Docker。e、 Kubernetes。f、 AWS。g、 Goole Compute Engine。目前在企业中使用最多的是 Flink on Yarn 模式。我们的课原创 2021-01-28 14:47:13 · 1924 阅读 · 1 评论 -
Flink(二)Flink 快速入门案例
1. Flink 的开发环境我们这里Flink 选择的是 Apache Flink 1.9.1 版本,是目前最新的稳定版本,并且兼容性比较好。下载地址:https://flink.apache.org/zh/downloads.html1) 开发工具先说明一下开发工具的问题。官方建议使用 IntelliJ IDEA,因为它默认集成了 Scala和 Maven 环境,使用更加方便,当然使用 Eclipse 也是可以的。我们这门课使用 IDEA。开发 Flink 程序时,可以使用 Java、P.原创 2020-12-30 14:09:34 · 493 阅读 · 0 评论 -
Flink(一) Flink是什么,特点和优势,应用场景
在当前数据量激增的时代,各种业务场景都有大量的业务数据产生,对于这些不断产生的数据应该如何进行有效的处理,成为当下大多数公司所面临的问题。目前比较流行的大数据处理引擎 Apache Spark,基本上已经取代了 MapReduce 成为当前大数据处理的标准。但对实时数据处理来说,Apache Spark 的 Spark-Streaming 还有性能改进的空间。对于Spark-Streaming 的流计算本质上还是批(微批)计算,Apache Flink 就是近年来在开源社区不断发展的技术中的能够同时支持高吞原创 2020-12-30 13:55:18 · 5504 阅读 · 0 评论