1、local 本地测试
1、flink集群搭建
1、standallone cluster
1、准备工作
2、上传解压
tar -xvf flink-1.11.0-bin-scala_2.11.tgz
3、修改配置文件
vim conf/flink-conf.yaml
jobmanager.rpc.address: master 主节点ip地址
vim conf/workers
增加从节点 node1 node2
vim conf/masters
改成主节点ip
同步到所有节点
scp -r flink-1.11.0/ node1:`pwd`
4、启动集群
bin/start-cluster.sh
http://master:8081 访问web界面
提交任务
1、在web页面提交任务
2、同flink命令提交任务
flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar
3、rpc方式提交任务
2、flink on yarn 只需要部署一个节点
1、配置HADOOP_CONF_DIR
vim /etc/profile
export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop/
2、将hadoop依赖jar上传到flink lib目录
flink-shaded-hadoop-2-uber-2.6.5-10.0
flink和spark一样都是粗粒度资源申请
2、flink启动方式
1、yarn-session 在yarn里面启动一个flink集群 jobManager
1、先启动hadoop
yarn-session.sh -jm 1024m -tm 1096m
2、提交任务 任务提交的是偶根据并行度自动生成taskmanager
1、在web页面提交任务
2、同flink命令提交任务
flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar
3、rpc方式提交任务
2、直接提交任务到yarn 每一个任务都会有一个jobManager
flink run -m yarn-cluster -yjm 1024m -ytm 1096m -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar
yarn application -kill application_1599820991153_0005
2、flink整合hive
1、将整合需要的jar上传到flink的lib目录
flink-sql-connector-hive-1.2.2_2.11-1.11.0.jar
hive-exec-1.2.1.jar
hive-metastore-1.2.1.jar
2、启动hive元数据服务
nohup hive --service metastore >> metastore.log 2>&1 &
3、如果在sql-client中使用hive的catalog
修改sql-client-defaults.yaml
catalogs:
- name: myhive
type: hive
hive-conf-dir: /usr/local/soft/hive-1.2.1/conf
default-database: default
4、在sql-client中使用hive的catalog
USE CATALOG myhive;
show tables;
- 在flink中创建的表在hive中就可以查看,不能查询数据
- hive中的表在flink中可以查询
5、在zeppenlin中整合hive
HIVE_CONF_DIR /usr/local/soft/hive-1.2.1/conf
zeppelin.flink.enableHive true
zeppelin.flink.hive.version 1.2.1