zeppelin Interpreter Yarn 模式 和 doris的 bitmap_union

本文介绍了如何在Zeppelin中配置Interpreter Yarn模式以减轻服务器压力,并探讨了Doris的bitmap_union在计算PV、UV场景中的应用。详细步骤包括配置 Interpreter Yarn 模式,如安装Hadoop client,设置环境变量,以及Doris创建表、加载数据和物化视图的示例。
摘要由CSDN通过智能技术生成

1,记录一下zeppelin Interpreter Yarn 模式

 

在上生产部署的路上,需要思考一下各组件的高可用,出现意外情况等情况,所以才发现

zeppelin 存在 Interpreter Yarn 模式

首先需要声明的是这里的Interpreter Yarn 模式和 Flink的Yarn模式不是一个概念。Flink的Yarn模式是指把Flink集群运行在Yarn环境里,而这里的 Interpreter Yarn 模式是指把 Flink Interpreter 进程运行在 Yarn 环境里。

     那为什么我们要引入Interpreter Yarn 模式呢?因为默认情况下 Flink Interpreter 进程和 Zeppelin 是运行在同一台机器上。如果我们是采用 Isolated Per Note 模式,每个Note就会起一个 Flink Interpreter 进程,会对Zeppelin那台机器造成很大的资源压力。Interpreter Yarn 模式就是把 Flink Interpreter进程跑在Yarn环境里,从而减轻 Zeppelin 那台机器的压力。

默认的架构:

我们通过再node1节点安装的zeppelin节点创建了多个 flink interpreter,interpreter创建在server上面。然后任务提交到yarn去执行。

image.png

这是Yarn Interpreter 模式的进程布局,flink interpreter是在yarn上,从而减轻了zeppelin server节点的压力

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值