Flink安装及使用

最新推荐文章于 2024-07-24 16:31:12 发布

zealscott

最新推荐文章于 2024-07-24 16:31:12 发布

阅读量4.1k

点赞数

分类专栏： DistributionSystem 文章标签： Flink

本文链接：https://blog.csdn.net/crazy_scott/article/details/84783824

版权

本文详细介绍了Flink的本地部署过程，包括安装、配置文件修改、添加环境变量和启动步骤。同时，提供了批处理和流处理运行WordCount的示例，通过代码解析了WordCountData、WordCountTokenizer和WordCount的功能，并展示了如何提交和运行任务，以及通过WebUI查看运行结果。

摘要由CSDN通过智能技术生成

本地部署

安装

在官网安装Flink，并解压到/usr/local/flink

sudo tar -zxf flink-1.6.2-bin-hadoop27-scala_2.11.tgz -C /usr/local
cd /usr/local

修改文件名字，并设置权限

sudo mv ./flink-*/ ./flink
sudo chown -R hadoop:hadoop ./flink

修改配置文件

Flink对于本地模式是开箱即用的，如果要修改Java运行环境，可修改conf/flink-conf.yaml中的env.java.home，设置为本地java的绝对路径

添加环境变量

vim ~/.bashrc
export FLNK_HOME=/usr/local/flink
export PATH=$FLINK_HOME/bin:$PATH

54388242695

启动Flink

start-cluster.sh

可以通过观察logs目录下的日志来检测系统是否正在运行了

tail log/flink--jobmanager-.log

54388315301

JobManager同时会在8081端口上启动一个web前端，通过http://localhost:8081来访问

54388290147

可以发现flink已经正常启动

运行示例

使用Maven创建Flink项目，在pom.xml中添加以下依赖：

    <dependencies>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>1.6.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>1.6.2</version>
        </dependency>
        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>1.6.2</version>
        </dependency>
    </dependencies>

批处理运行WordCount

官方示例

可以直接在/usr/local/flink/examples/batch中运行WordCount程序，并且这里还有更多示例：

54388437325

运行：

flink run WordCount.jar

54388443638

代码

WordCountData

提供原始数据

import org.apache.flink.api.java.DataSet;
import org.apache.flink.api.java.ExecutionEnvironment;

public class WordCountData {
   
    public static final String[] WORDS=new String[]{
   "To be, or not t