Flink
文章平均质量分 93
若兰幽竹
认认真真做事,踏踏实实做人。不以物喜,不以己悲,活出自我,成就自我。
展开
-
Flink消费Kafka主题消息的演示
本案例实现的功能统计对Kafka中的消息单词出现的次数,即词频统计。其主要演示了Flink流式程序消费kafka中的消息,其目的想让初学者了解Flink如何编写消费Kafka中消息的程序以及通过程序的演示来进一步学习flink。......原创 2022-06-24 20:37:04 · 738 阅读 · 0 评论 -
WordCount打包部署到Flink Standalone 集群模式的运行过程演示
本次实验主要是向大家演示了在Flink Standalone 模式下运行WordCount程序的过程,其目的想让大家知道flink程序开发完成后,如何将其打包上传到服务器,并能通过查看webui界面查看flink相关的概念等。......原创 2022-06-23 21:57:23 · 597 阅读 · 0 评论 -
Flink的流批WordCount入门案例
Flink的WordCount及其运行分析一、环境说明二、实现步骤三、分析总结一、环境说明工具版本IDEA2021.3.2Flink1.10.2Scala2.12JDK1.8_181二、实现步骤新建maven工程添加flink相关依赖到pom.xml中<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0原创 2022-05-12 17:58:00 · 764 阅读 · 2 评论 -
Flink概述
Flink概述一、Flink 是什么二、为什么要用 Flink三、流处理的演变发展四、Flink 的主要特点五、Flink vs Spark Streaming一、Flink 是什么Flink 起源于 Stratosphere 项目, Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目, 2014 年 4 月 Stratosphere 的代 码 被 复 制 并 捐 赠 给 了 Apache 软 件 基 金 会 , 参 加 这 个 孵原创 2022-05-12 10:07:32 · 1543 阅读 · 0 评论 -
Flink On Yarn 模式说明与测试
Flink On Yarn 模式说明与测试一、环境说明二、环境搭建三、Flink On Yarn模式四、启动Session Cluster测试五、Per Job Cluster测试六、小结一、环境说明三台虚拟机内存分配如下:节点内存hadoop0024G (主节点,内存分配大些)hadoop0032Ghadoop0042G如条件允许情况下,可以将所有节点内容调整高些,如4GHadoop集群环境配置如下:全分布式环境节点安装路径dat原创 2022-03-29 22:34:48 · 2764 阅读 · 1 评论 -
Flink统计日志图片信息并降序排序
Flink对日志信息中图片进行统计并降序排序一、需求说明二、环境说明三、编程实现一、需求说明统计出日志信息中的图片信息,统计每张图片出现的次数,并降序排序二、环境说明zookeeper环境配置如下:节点安装路径dataDir路径hadoop002/training/zookeeper-3.4.5/training/zookeeper-3.4.5/tmphadoop003/training/zookeeper-3.4.5/training/zookee原创 2022-03-29 17:54:19 · 2516 阅读 · 0 评论 -
Flink HA模式环境搭建
Flink HA安装部署原创 2022-03-03 23:09:24 · 1610 阅读 · 1 评论
分享