python flink_Flink - 入门学习

1. 前言

Flink是批流一体化的数据处理框架，性能卓越，诸多大厂都在使用。

由于时间原因，本篇文章只简单了解一下，后续会深入分析，以及经典case分享。

2. 安装pyflink

安装虚拟环境和pyflink

$ conda create -n py36 python=3.6

$ conda activate py36

$ conda install Cython

$ python -m pip install apache-flink==1.10.1

runtime需要jdk，下载jdk 10后解压，配置env

export JAVA_HOME=/home/xxx/java/jdk-10.0.2

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

flink 1.10 最高支持python3.7，暂不支持py38

通过clone repo的方式，可以安装最新版本的pyflink

3. run server

创建一个docker-compose，启动flink单机cluster

$ cat docker-compose.yml

version: "2.1"

services:

jobmanager:

image: ${FLINK_DOCKER_IMAGE_NAME:-flink}

expose:

- "6123"

<