Trino大量查询会导致HDFS namenode主备频繁切换吗?

会,且肯定会

一、背景
今天还没起床就被智能运维叫醒了,说通过namenode审计日志查看访问源ip有我们的trino集群,并且访问量比较大,起床气范了,这不很正常吗,早上一般都是跑批高峰,也不一定是我们trino的问题,必须按时上班。
到了工位联系运维,被告知也不一定是我们的trino引起的namenode主备节点切换,因为那个时间段,有很多系统会访问大数据平台,不管怎样,既然有警告就得排查,秉承认真负责的态度去查看了日志,然并卵,没看出我们系统有什么问题,于是还是了解一下trino怎么取hdfs数据的流程。

二、复现问题
在测试环境,开启测试,在高并发加持下,在开始测试的3s中终于把大数据平台的测试环境的nn主备切换了,大数据平台弱爆了,实话讲我这边还没真正开始测,因为启动报错了,就被其它系统压爆了,这多半不是或者严谨的这次切换我们trino系统贡献值比较低。

三、建议你去回顾以下hdfs读写流程
此处省略一个hadoop工程师

四、尝试开启缓存或者本地缓存减少对namenode访问
以上举措均无效,无论是在hive.properties中加入cache相关的参数配置,还是开启本地缓存,缓存数据到本地worker节点,每次提交sql都会访问nn,并且访问次数一样

五、反思

  1. 确认是否缓存了元数据信息,是在哪个环节缓存了块信息,这个很重要
  2. 确认表结构设计不合理,小文件是否过多,在未给出具体的量化指标之前,要相信并且请求namenode的操作不会对namenode造成很大影响;

说了一大堆废话,如果有问题,那就把问题甩在下方评论区吧!!!

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

京河小蚁

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值