40岁程序员学Flink，word count scala版

一， 背景

学了接近一个星期的flink，发觉还没有实现过大数据领域的hello world，word count程序，于是决定写一个。

另外准备进入flink ml的学习，发现flink ml只支持scala，所以实现一个scala版本，顺便作为scala入门。

 

二，开发环境搭建

1 ）在window 10安装 IDEA，这个就不多介绍了。

2）在window 10 搭建scala 开发环境

     首先下载 scala运行环境，并安装，下载地址,然后运行安装

    https://downloads.lightbend.com/scala/2.12.8/scala-2.12.8.msi

3） 在IDEA安装 scale插件，具体 选择 File--->Setting,然后选择plugin，输入scala查找到插件后，点击安装，具体如下图

   一切完成后，开始下一步编写代码，网上有很多文章写如何在IDEA配置scala，试了好几个都不行，然后没有耐心，直接按照建java maven 项目那样来建项目，然后加入scala支持，反而走通了，具体见下文

 

三， 编码

1 ）新建maven项目，什么模板都不用，直接建一个普通的空白的maven项目

 

2）在 src/main下面建立一个scala目录，并在File--->Project Structure里面把该目录设为source 目录，具体如下图：

 

3）右击项目，选择Add Framework Support，在弹出框选择增加scala框架

 

4） 在pom.xml增加相关依赖，就好像平常java程序增加依赖一样，具体如下：

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>ScalaStudy</groupId>
    <artifactId>scalahelloworld</artifactId>
    <version>1.0-SNAPSHOT</version>


    <properties>

    <encoding>UTF-8</encoding>
    <scala.version>2.12.8</scala.version>

</properties>

<dependencies>
<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>${scala.version}</version>
</dependency>



<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-scala_2.12</artifactId>
    <version>1.7.2</version>
</dependency>

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-clients_2.12</artifactId>
    <version>1.7.2</version>
</dependency>

<dependency>
    <groupId>org.apache.flink</groupId>
    <artifactId>flink-streaming-scala_2.12</artifactId>
    <version>1.7.2</version>
</dependency>
</dependencies>

</project>

5）在scala目录下增加新包，然后右击新包选择new---Scala class,在弹出框输入文件名，记得选择增加Object

一切完成就可以开始编码，具体代码见如下源码链接，代码逻辑

从README文件中读取单词，然后统计每个单词出现的次数，然后输出到控制台和output文件

 

四，测试

右击WordCount，选择run，最终结果如下图，可以看到显示每个词的统计结果

代开output文件，同样可以看到运行结果

相关源码： https://gitee.com/kengan/40_programmers_learn_flink/tree/master/study4