flink整合java,Flink安装及使用

本地部署

安装

在官网安装Flink，并解压到/usr/local/flink

sudo tar -zxf flink-1.6.2-bin-hadoop27-scala_2.11.tgz -C /usr/local

cd /usr/local

54388226982

修改文件名字，并设置权限

sudo mv ./flink-*/ ./flink

sudo chown -R hadoop:hadoop ./flink

修改配置文件

Flink对于本地模式是开箱即用的，如果要修改Java运行环境，可修改conf/flink-conf.yaml中的env.java.home，设置为本地java的绝对路径

添加环境变量

vim ~/.bashrc

export FLINK_HOME=/usr/local/flink

export PATH=$FLINK_HOME/bin:$PATH

54388242695

启动Flink

start-cluster.sh

可以通过观察logs目录下的日志来检测系统是否正在运行了

tail log/flink--jobmanager-.log

54388315301

JobManager同时会在8081端口上启动一个web前端，通过http://localhost:8081来访问

54388290147

可以发现flink已经正常启动

运行示例

使用Maven创建Flink项目，在pom.xml中添加以下依赖：

org.apache.flink

flink-java

1.6.2

org.apache.flink

flink-streaming-java_2.11

1.6.2

org.apache.flink

flink-clients_2.11

1.6.2

批处理运行WordCount

官方示例

可以直接在/usr/local/flink/examples/batch中运行WordCount程序，并且这里还有更多示例：

54388437325

运行：

flink run WordCount.jar