apache flink的python客户端开发

本文介绍了Apache Flink的Python客户端开发,包括开发环境的安装,详细步骤涵盖cmd和powershell命令行执行,Flink目录结构解析以及启动流程。接着通过一个Word Count案例深入讲解了Map、FlatMap、MapPartition、Filter、Reduce和ReduceGroup等核心操作,并展示了如何优化代码将结果写入文件。
摘要由CSDN通过智能技术生成

1 flink开发环境安装

下载git clone https://github.com/apache/flink

1.1 cmd命令行执行:

set MAVEN_OPTS="-Xmx4G"
mvn clean install package -Dmaven.test.skip=true

1.2 powershell命令行执行

set MAVEN_OPTS="-Xmx4G"
mvn clean install package ‘-Dmaven.test.skip=true’

1.3 flink的目录结构

cd E:\app-installtools\flink\flink-dist\target\flink-1.9-SNAPSHOT-bin\flink-1.9-SNAPSHOT\bin
Mode                LastWriteTime         Length Name
----                -------------         ------ ----
-a----        2019/4/24     11:50          29647 config.sh
-a----        2019/4/24     11:50           2279 flink
-a----        2019/4/24     11:50           2847 flink-console.sh
-a----        2019/4/24     11:50           6545 flink-daemon.sh
-a----        2019/4/24     11:50           1271 flink.bat
-a----        2019/4/24     11:50           1603 historyserver.sh
-a----        2019/4/24     11:50           2967 jobmanager.sh
-a----        2019/4/24     11:50           1849 mesos-appmaster-job.sh
-a----        2019/4/24     11:50           1883 mesos-appmaster.sh
-a----        2019/4/24     11:50           1935 mesos-taskmanager.sh
-a----        2019/4/24     11:50           1207 pyflink-stream.sh
-a----        2019/4/24     11:50           1166 pyflink.bat
-a----        2019/4/24     11:50           1132 pyflink.sh
-a----        2019/4/24     11:50           3517 sql-client.sh
-a----        2019/4/24     11:50           2597 standalone-job.sh
-a----        2019/4/24     11:50           3364 start-cluster.bat
-a----        2019/4/24     11:50           1889 start-cluster.sh
-a----        2019/4/24     11:50           3538 start-scala-shell.sh
-a----        2019/4/24     11:50           1900 start-zookeeper-quorum.sh
-a----        2019/4/24     11:50           1663 stop-cluster.sh
-a----        2019/4/24     11:50           1891 stop-zookeeper-quorum.sh
-a----        2019/4/24     11:50           3941 taskmanager.sh
-a----        2019/4/24     11:50           1714 yarn-session.sh
-a----        2019/4/24     11:50           2346 zookeeper.sh

1.4 启动flink

E:\app-installtools\flink\flink-dist\target\flink-1.9-SNAPSHOT-bin\flink-1.9-SNAPSHOT\bin\start-cluster.bat
Web interface by default on http://localhost:8081/.

2 flink计算word count案例

2.1 word count案例1

from flink.plan.Environment import get_environment
from flink.functions.GroupReduceFunction import GroupReduceFunction

class Adder(GroupReduceFunction):
  def reduce(self, iterator, collector):
    count, word &#
  • 1
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值