![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Flink
二胖_pro
这个作者很懒,什么都没留下…
展开
-
尚硅谷Flink教程学习笔记(Flink运行时架构)
source 读取数据源,rebalance 随机重新分区,flatmap基于 hashcode 重分区,key aggregate 聚合操作,最后传播到 sink 进行输出这里面涉及到宽依赖和窄依赖的知识比如说StreamWordCount代码里的filter、map、keyby就是一个任务链,当具有相同并行度的时候就会被Flink链接成一个任务链,也即看做一个task,里面有三个算子filter、map、keyby来看一下:启动我们的集群:然后到webUI界面看一下我们提交的Stre原创 2020-05-15 21:44:05 · 2044 阅读 · 0 评论 -
尚硅谷Flink教程学习笔记(部署提交)
课程地址先来分析一下文件flink-1.10.0-bin-scala_2.11.tgz解压之后是这样的:conf文件夹下存储了flink的所有配置文件:打开flink-conf.yaml分析一下################################################################################# Licensed to the Apache Software Foundation (ASF) under one# or mo原创 2020-05-14 18:01:07 · 807 阅读 · 1 评论 -
尚硅谷Flink教程学习笔记(流处理WordCount)
视频链接在批处理代码里,读取文件的时候,读取的每一行就是一个时间,并不是整个文件是一个streammap操作可以改变我们DataSet里的具体类型groupby之后得到的是一个GroupedDataSetsum之后得到一个AggregateDataSet...原创 2020-05-14 13:27:21 · 975 阅读 · 0 评论 -
尚硅谷Flink教程学习笔记(批处理wordcount)
B站视频wordcount首先创建好自己的maven项目,然后在src文件下新建一个文件夹叫scala并且标记为源文件目录然后是pom.xml文件的配置,加入下列依赖和plugins之后让maven自己导入就行了<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSc原创 2020-05-13 20:20:33 · 701 阅读 · 0 评论 -
Flink第一课:初入Flink(结构篇)
文章目录1. Flink是什么1.1处理无边界和有边界数据1.2 任何地方都可以部署Flink应用1.3 能够以任何规模运行应用程序1.4 利用 In-Memory 性能2. 为什么要用Flink2.1 哪些行业需要处理流数据3. 流处理的发展和演变4. Flink的主要特点4.1 Flink的其他特点5. Flink vs Spark Streaming1. Flink是什么Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行状态计算Flink 框架的重要方面:1.1处原创 2020-05-12 08:36:04 · 336 阅读 · 0 评论