大数据
文章平均质量分 76
锦衣当国
这个作者很懒,什么都没留下…
展开
-
flink部署
YARN上部署的过程是:客户端把Flink应用提交给Yarn的ResourceManager,Yarn的ResourceManager会向Yarn的NodeManager申请容器。在这些容器上,Flink会部署JobManager和TaskManager的实例,从而启动集群。而这也就代表着,我们需要为 每一个提交的应用单独启动一个JobManager,也就是创建一个集群。这个JobManager只为执行这一个应用而存在, 执行结束之后jobManager也就关闭了,这就是应用模式。原创 2024-08-30 20:09:31 · 538 阅读 · 0 评论 -
hive常用参数优化
SET hive.exec.mode.local.auto.inputbytes.max = 128000000 // 默认是128M。原创 2024-08-20 20:10:29 · 333 阅读 · 0 评论