本地部署
安装
-
在官网安装Flink,并解压到
/usr/local/flink
-
sudo tar -zxf flink-1.6.2-bin-hadoop27-scala_2.11.tgz -C /usr/local cd /usr/local
-
-
修改文件名字,并设置权限
-
sudo mv ./flink-*/ ./flink sudo chown -R hadoop:hadoop ./flink
-
修改配置文件
Flink
对于本地模式是开箱即用的,如果要修改Java运行环境,可修改conf/flink-conf.yaml
中的env.java.home
,设置为本地java的绝对路径
添加环境变量
vim ~/.bashrc
export FLNK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH
启动Flink
start-cluster.sh
- 可以通过观察logs目录下的日志来检测系统是否正在运行了
tail log/flink--jobmanager-.log
- JobManager同时会在8081端口上启动一个web前端,通过http://localhost:8081来访问
可以发现flink已经正常启动
运行示例
使用Maven创建Flink项目,在pom.xml中添加以下依赖:
<dependencies>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-java</artifactId>
<version>1.6.2</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-streaming-java_2.11</artifactId>
<version>1.6.2</version>
</dependency>
<dependency>
<groupId>org.apache.flink</groupId>
<artifactId>flink-clients_2.11</artifactId>
<version>1.6.2</version>
</dependency>
</dependencies>
批处理运行WordCount
官方示例
可以直接在/usr/local/flink/examples/batch
中运行WordCount程序,并且这里还有更多示例:
运行:
flink run WordCount.jar
代码
WordCountData
提供原始数据
import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;
public class WordCountData {
public static final String[] WORDS=new String[]{
"To be, or not t