![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
Sophia$
算法
展开
-
从小白的角度讲解kafka并使用java、python_API
1. 什么是kafka1.1 基本概述提前说明,以下主要涉及kafka、topic、partition、broker、offset、replica、leader、follower、Consumer Group等概念首先kafka是用来存储数据的,就像sql等数据库一样。向kafka中放数据的人叫做生产者(Producer),从kafka取数据的人叫做消费者。(Consumer )打个比方,假设kafka就是一张excel工作簿。最开始这个工作簿(数据库)是没有数据的,需要有人在excel工...转载 2020-12-12 12:17:59 · 679 阅读 · 1 评论 -
Flink系列一(Flink理论基础)-2 Flink上手
1. 搭建maven工程Flink底层支持Java和Scala语言,本项目使用Scala。IDE使用IDDEA。1.1 新建maven project1.2 设置pom文件1.2.1 添加依赖 <dependencies> <!-- https://mvnrepository.com/artifact/org.apache.flink/flink-scala --> <dependency>原创 2020-10-31 20:17:50 · 260 阅读 · 0 评论 -
Flink系列一(Flink理论基础)-1 Flink简介
1 Flink简介Apache Flink是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算。1.1 Flink的应用场景1.1.1 为什么选择Flink传统的数据架构是基于有限数据集的。使用Flink的目标是: 低延迟,高吞吐,结果的准确性和良好的容错性。1.1.2 应用场景但不限于以上场景。...原创 2020-10-28 13:21:09 · 132 阅读 · 0 评论