大数据平台环境搭建---- Flink组件配置

前置环境

Hadoop集群必须部署完成，如果还没有搭建请先前往>>Hadoop全分布搭建笔记

程序版本

scala-2.11.8   flink-1.10.2-bin-scala_2.11

组件介绍

Flink是一个面向数据流处理和批量数据处理的可分布式的开源计算框架，它基于同一个Flink流式执个独立的开源框架行模型（streaming execution model），能够支持流处理和批处理两种应用类型。由于流处理和批处理所提供的SLA(服务等级协议)是完全不相同，流处理一般需要支持低延迟、Exactly-once保证，而批处理需要支持高吞吐、高效处理，所以在实现的时候通常是分别给出两套实现方法，或者通过一来实现其中每一种处理方案。比较典型的有：实现批处理的开源方案有MapReduce、Spark；实现流处理的开源方案有Storm；Spark的Streaming 其实本质上也是微批处理。

操作流程

上传 Scala & Flink

使用FTP工具（xftp）上传Scala和Flink的程序包到master

[root@master ~]# ls

flink-1.10.2-bin-scala_2.11.tgz  scala-2.11.8.tgz

解压Scala & Flink

[root@master ~]# tar xf scala-2.11.8.tgz -C /usr/local/src/

[root@master ~]# tar xf flink-1.10.2-bin-scala_2.11.tgz -C /usr/local/src/

# 解压后，cd进入解压目录

[root@master ~]# cd /usr/loal/src/

[root@master src]# ls

flink-1.10.2  hadoop  jdk  scala-2.11.8

# 修改文件夹名称

[root@master src]# mv scala-2.11.8/ scala

[root@master src]# mv flink-1.10.2/ flink

[root@master src]# ls

flink  hadoop  jdk  scala

配置环境变量

使环境变量仅对root用户生效，编辑root用户的环境变量

[root@master src]# vi /root/.bash_profile