职业大赛训练课堂笔记(第五and第六整合版)

Apache Flink是一个框架和分布式处理引擎,它被设计为可以在所有常见集群环境中运行。

Flink的特点:

1.同时支持高吞吐、低延迟

2.支持有状态计算

3.支持事件时间

4.支持高可用性配置

5.提供了不同层级的API

Flink的主要组件:

1.储存层

2.调度层

3.计算层

4.工具层(Flink提供了面向流处理(DataStream API)和批处理(DataSetAPI)的不同计算接口)

Flink程序构成:

source:数据源部分

Transformation:数据转换部分

Sink:数据输出部分

-----------------------------------------------------------------------------------------------------------------------------

Maven 是用于java项目管理的一个工具,这个工具可以帮我们实现:

项目jar包依赖管理,项目打包、测试等功能。

Maven 本身是有一套自己的项目架构,所以需要按照它的架构进行项目研发

maven中央仓库(java相关的所有jar包)地址为:https://mvnrepository.com/tags/maven

在生成Maven项目中的pom.xml中添加以下内容,引入Scala和Flink的依赖库。若该文件中默认引用了Scala库,则将其修改为需要使用的版本:

<dependencies>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-streaming-scala_2.12</artifactId>
      <version>1.14.5</version>
    </dependency>

    <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-clients_2.12</artifactId>
      <version>1.14.5</version>
    </dependency>

  </dependencies>

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值