40岁程序员学Flink，入门

公司要求使用flink，于是找了几篇文章作为参考，具体见下面链接，记录一下整个入门过程，

本文目的只是为了记录整个入门过程，暂不考虑对错

参考1 https://www.cnblogs.com/ALittleMoreLove/archive/2018/08/09/9449992.html

参考2 https://www.cnblogs.com/limaosheng/p/10434848.html

一，环境

操作系统：window 10

JDK: java 8

开发环境: IDEA

二，准备工作

下载window nc工具，下载地址如下，

https://joncraton.org/blog/46/netcat-for-windows/

为了不让杀毒工具删除下载的nc.exe，一定要下载安全版本

Download nc111nt_safe.zip (password:nc) - Netcat for Windows (without -e)

解压，在cmd进入解压目录，运行如下命令

nc -L -p 7000 -v （注意一定要先运行否则例子会报错）

结果如下图：

 

三，建立wordcout例子工程

1）运行IDEA，建立maven项目，增加相关依赖，最终结果

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>flinkStudy</groupId>
    <artifactId>study1</artifactId>
    <version>1.0-SNAPSHOT</version>


    <properties>
        <flink.version>1.7.2</flink.version>
    </properties>

    <dependencies>

        <dependency>
            <groupId>log4j</groupId>
            <artifactId>log4j</artifactId>
            <version>1.2.17</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-java</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-streaming-java_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-clients_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.flink</groupId>
            <artifactId>flink-connector-wikiedits_2.11</artifactId>
            <version>${flink.version}</version>
        </dependency>

    </dependencies>

</project>

2）参考上面参考链接2，编写代码，唯一不同是下面程序需要增加try-catch

env.execute("streaming word count");

3）运行例子，测试，在nc命令行输入单词用空格隔开，然后按回车，具体如下图

 

四，部署到flink

1）下载flink ，下载地址https://flink.apache.org/downloads.html，下载版本见下图

 

2） 解压，在cmd进入解压目录，启动flink，具体如下图，启动成功后会另外开启两个新的cmd窗口

3） 在浏览器打开http://localhost:8081/，会看到如下界面

 

4） 参考上面参考链接1，进行打包，核心步骤在于file--->project structure里面如何添加 artifacts，具体见下图

5）在浏览器打开flink管理界面，把jar包上传到flink，具体见下图

6）上传成功后，选择上传的包，新建任务,具体见下图

按了submit 后，如果成功最终结果如下图

7) 测试，在nc命令行输入单词，会在flink打开的新的cmd窗口看到结果，具体如下图

本文相关源码：https://gitee.com/kengan/40_programmers_learn_flink