- 博客(2)
- 收藏
- 关注
RSS订阅原创 VM虚拟机hadoop集群共享一块磁盘执行复杂任务导致zookeeper挂掉
1.背景最近在执行一条比较复杂的sql时，发现总是执行失败，实际上表数据并没有多少，只是关联的表比较多而已。2.查找问题看了yarn的运行日志发现都报的通信延迟的问题，打开cdh看了下发现zookeeper和hdfs的failercontroller都报红了。接着找了一台zookeeper节点看了下报错日志，发现了一直报如下错误： org.apache.zookeeper.server.persistence.FileTxnLog:fsync-ing the write ah.
2022-01-11 17:16:51
1042
原创 记dolphinScheduler1.3.3由于zookeeper引起的bug
1.背景通过ds的调度中的datax节点将mysql的数据导入到hdfs形成ods层数据，每次导入的是当天新增与变化的数据，然后dwd层是以数据的创建时间划分的日期分区（当然这些不是重点）。2.问题复现集群是通过cdh进行部署的，然后在周六的时候因为zookeeper的某些延迟原因导致挂掉了，集群重启也没能很好的解决这个问题，但是呢好歹运行起来了，接着尝试重跑失败的工作流，虽然跑的速度比平时慢了点但是好歹也跑完了。周一来上班之后，业务人员反馈数据不准确的问题，然后开始排查问题所在。3.分
2022-01-05 11:05:57
2201
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人