Flink大数据学习
追逐蓦然
一步一个脚印
展开
-
Flink学习之旅----初始Flink
Flink基础原理及应用场景Flink简介Flink特点数据来源数据存储架构图基本组件介绍流处理和批处理简介流处理批处理Flink同时处理流处理和批处理的原理Flink应用场景分析小结 Flink简介 Apache Flink是一个开源的分布式,高性能,高可用,准确的流处理框架 主要由Java代码实现 支持实时流处理和批处理(流处理的一种),批数据只是流数据的一个极限特例 Flink原生支持迭代...原创 2019-03-12 10:18:08 · 476 阅读 · 0 评论 -
Flink学习之旅----深度认识Flink
初始Flink概述Flink简介有界和无界数据Batch vs Stream 批处理和流处理的区别BatchStreamFlinklayer接口的层级1.Stateful EventDriven Applications2.Stream&Batch Data Processing 流和批处理3.High-level Analytics API应用程序运行方式多样化Flink vs St...原创 2019-05-03 20:29:32 · 575 阅读 · 0 评论 -
Flink学习之旅----Flink整合Kafka实现单词的统计
Flink整合Kafka实现单词的统计前言Kafka简单命令安装kafka环境启动生产者生产者开始实战前期准备Flink链接Kafka导入相关依赖Flink具体代码数据写入Kafka 前言 因为工作的需求,我在几天里面学习了Flink和Kafka,今天写出来Flink整合Kafka实现单词的统计 Kafka简单命令 对于kafka的简介,我这里就不多说了,大家自己百度一下,应该都清楚的,我这...原创 2019-05-14 18:49:58 · 1074 阅读 · 0 评论 -
Flink学习之旅----DataSet API 开发概述
DataSet API 开发概述概述DataSet概述构建DataSource如何去构建dataSourceTransformationmapfiltermappartition 减少对数据库的链接 写数据出去firstflatmap 作用在一个或者多个对象上面distinct 去重join 内连接outjoin 外连接 要记得做判断crossSink写入文件计数器分布式缓存简介 概述...原创 2019-05-07 19:05:59 · 350 阅读 · 0 评论