Flink入门（三）——环境与部署

　　flink是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述flink在windows和linux中安装步骤，和示例程序的运行，包括本地调试环境，集群环境。另外介绍Flink的开发工程的构建。
　　
　　首先要想运行Flink，我们需要下载并解压Flink的二进制包，下载地址如下：https://flink.apache.org/downloads.html
　　
　　我们可以选择Flink与Scala结合版本，这里我们选择最新的1.9版本Apache Flink 1.9.0 for Scala 2.12进行下载。
　　
　　下载成功后，在windows系统中可以通过Windows的bat文件或者Cygwin来运行Flink。
　　
　　在linux系统中分为单机，集群和Hadoop等多种情况。
　　
　　通过Windows的bat文件运行
　　
　　首先启动cmd命令行窗口，进入flink文件夹，运行bin目录下的start-cluster.bat
　　
　　注意：运行flink需要java环境，请确保系统已经配置java环境变量。
　　
　　$ cd flink
　　
　　$ cd bin
　　
　　$ start-cluster.bat
　　
　　Starting a local cluster with one JobManager process and one TaskManager process.
　　
　　You can terminate the processes via CTRL-C in the spawned shell windows.
　　
　　Web interface by default on http://localhost:8081/.
　　
　　file
　　
　　显示启动成功后，我们在浏览器访问 http://localhost:8081/可以看到flink的管理页面。
　　
　　通过Cygwin运行
　　
　　Cygwin是一个在windows平台上运行的类UNIX模拟环境，官网下载：http://cygwin.com/install.html
　　
　　安装成功后，启动Cygwin终端，运行start-cluster.sh脚本。
　　
　　$ cd flink
　　
　　$ bin/start-cluster.sh
　　
　　Starting cluster.
　　
　　显示启动成功后，我们在浏览器访问 http://localhost:8081/可以看到flink的管理页面。
　　
　　file
　　
　　Linux系统上安装flink
　　
　　单节点安装
　　
　　在Linux上单节点安装方式与cygwin一样，下载Apache Flink 1.9.0 for Scala 2.12，然后解压后只需要启动start-cluster.sh。
　　
　　集群安装
　　
　　集群安装分为以下几步：
　　
　　1、在每台机器上复制解压出来的flink目录。
　　
　　2、选择一个作为master节点，然后修改所有机器conf/flink-conf.yaml
　　
　　jobmanager.rpc.address = master主机名
　　
　　3、修改conf/slaves,将所有work节点写入
　　
　　work01
　　
　　work02
　　
　　4、在master上启动集群
　　
　　bin/start-cluster.sh
　　
　　安装在Hadoop
　　
　　我们可以选择让Flink运行在Yarn集群上。
　　
　　下载Flink for Hadoop的包
　　
　　保证 HADOOP_HOME已经正确设置即可
　　
　　启动 bin/yarn-session.sh
　　
　　运行flink示例程序
　　
　　批处理示例：
　　
　　提交flink的批处理examples程序：
　　
　　bin/flink run examples/batch/WordCount.jar
　　
　　这是flink提供的examples下的批处理例子程序，统计单词个数。
　　
　　$ bin/flink run examples/batch/WordCount.jar
　　
　　Starting execution of program
　　
　　Executing WordCount example with default input data set.