Zeppelin中添加第三方依赖Kafka

目录

1. 概述

 

2. 参考资料

---

1. 概述

在Zeppelin里如何添加第三方依赖，主要有以下两种方法

• flink.excuetion.packages
• flink.execution.jars

在zeppelin中，使用flink链接kafka数据源，例如访问zeppelin的flink demo时，会有以下的一个paragraph来配置第三方jar包依赖，我们直接执行这个paragraph，zeppelin即可自动帮助我们下载上面的依赖：

%flink.conf

# This example use kafka as source and mysql as sink, so you need to specify flink kafka connector and flink jdbc connector first.

flink.execution.packages	org.apache.flink:flink-connector-kafka_2.11:1.10.0,org.apache.flink:flink-connector-kafka-base_2.11:1.10.0,org.apache.flink:flink-json:1.10.0,org.apache.flink:flink-jdbc_2.11:1.10.0,mysql:mysql-connector-java:5.1.38

# Set taskmanager.memory.segment-size to be the smallest value just for this demo, otherwise you will see the result change after a long time due to the buffer in upstream vertex.
taskmanager.memory.segment-size 4k