Flink 搭建

1、local 本地测试

• idea运行

1、flink集群搭建

1、standallone cluster

1、准备工作

• 配置JAVA_HOME 免密钥

2、上传解压

tar -xvf flink-1.11.0-bin-scala_2.11.tgz

• 配置环境变量

3、修改配置文件

vim conf/flink-conf.yaml

jobmanager.rpc.address: master   主节点ip地址 

vim conf/workers
增加从节点  node1  node2

vim conf/masters  
改成主节点ip

同步到所有节点
scp -r flink-1.11.0/ node1:`pwd`

4、启动集群

bin/start-cluster.sh

http://master:8081   访问web界面


提交任务
	1、在web页面提交任务

	2、同flink命令提交任务
	flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar 

	3、rpc方式提交任务

2、flink on yarn 只需要部署一个节点

1、配置HADOOP_CONF_DIR

vim /etc/profile

export HADOOP_CONF_DIR=/usr/local/soft/hadoop-2.7.6/etc/hadoop/

2、将hadoop依赖jar上传到flink lib目录

flink-shaded-hadoop-2-uber-2.6.5-10.0

flink和spark一样都是粗粒度资源申请

2、flink启动方式

1、yarn-session 在yarn里面启动一个flink集群 jobManager

1、先启动hadoop 
yarn-session.sh -jm 1024m -tm 1096m

2、提交任务  任务提交的是偶根据并行度自动生成taskmanager
	1、在web页面提交任务

	2、同flink命令提交任务
	flink run -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar 

	3、rpc方式提交任务

2、直接提交任务到yarn 每一个任务都会有一个jobManager

flink run -m yarn-cluster  -yjm 1024m -ytm 1096m -c com.shujia.flink.soure.Demo4ReadKafka flink-1.0.jar

yarn application -kill application_1599820991153_0005

2、flink整合hive

1、将整合需要的jar上传到flink的lib目录

flink-sql-connector-hive-1.2.2_2.11-1.11.0.jar
hive-exec-1.2.1.jar
hive-metastore-1.2.1.jar

2、启动hive元数据服务

nohup hive --service metastore >> metastore.log 2>&1 &

3、如果在sql-client中使用hive的catalog

修改sql-client-defaults.yaml

catalogs: 
  - name: myhive
    type: hive
    hive-conf-dir: /usr/local/soft/hive-1.2.1/conf
    default-database: default

4、在sql-client中使用hive的catalog

USE CATALOG myhive;
show tables;

• 在flink中创建的表在hive中就可以查看，不能查询数据
• hive中的表在flink中可以查询

5、在zeppenlin中整合hive

• 修改配置

HIVE_CONF_DIR  /usr/local/soft/hive-1.2.1/conf

zeppelin.flink.enableHive	true
zeppelin.flink.hive.version	1.2.1