Flink高手之路：Flink入门案例

目录

一、Flink的API

二、Flink的编程模式

三、Flink入门案例

1.需求

2.使用Flink实现wordCount

四、DataSet编程实现

1.新建一个maven工程

2.修改prom文件，导入依赖 

3.建立包和类

4.编写程序 

5.执行结果 

五、DataStream编程实现 

1.建立包和类

2.编写程序

3.执行结果

六、在集群上运行

1.打jar包

 2.上传至服务器

3.提交时需要指定主类 

4. per-job模式提交任务-批处理模式

5.重新指定主类提交

6.在yarn的webui查看

7.再次以流处理模式提交任务 

8.指定主类

---

一、Flink的API

Flink提供了多个层次的api供开发者使用，越往上抽象程度越高，使用起来越方便；越往下越底层，使用难度就越大。DataSet已经不提倡使用了，被流批一体的DataStream代替。

二、Flink的编程模式

Flink的应用程序结构主要包括三部分：Source/Transformation/Sink

三、Flink入门案例

1.需求

使用Flink实现单词计数

2.使用Flink实现wordCount

准备环境-env

准备数据-source

处理数据-transformation

输出结果-sink

触发执行

四、DataSet编程实现

1.新建一个maven工程

 

2.修改prom文件，导入依赖 

3.建立包和类

 

4.编写程序 

 

5.执行结果 

五、DataStream编程实现 

1.建立包和类

2.编写程序

 

3.执行结果

 

六、在集群上运行

1.打jar包

 

 2.上传至服务器

3.提交时需要指定主类 

 

4. per-job模式提交任务-批处理模式

cn.edu.hgu.flink.WordCountDataStreamYarn

[root@hadoop001 ~]#

flink run -m yarn-cluster -yjm 1024 -ytm 1024 flink-dataset-demo-1.0-SNAPSHOT.jar

出现错误

5.重新指定主类提交

[root@hadoop001 ~]# flink run -m yarn-cluster -yjm 1024 -ytm 1024 -c

cn.edu.hgu.flink.WordCountDataSet flink-dataset-demo-1.0-SNAPSHOT.jar

6.在yarn的webui查看

7.再次以流处理模式提交任务 

8.指定主类

[root@hadoop001 ~]# flink run -m yarn-cluster -yjm 1024 -ytm 1024 -c

cn.edu.hgu.flink.WordCountDataStreamYarn flink-dataset-demo-1.0-SNAPSHOT.jar