azkaban做mr调度时报错 Call From SparkMaster/192.168.237.128 to 0.0.0.0:10020 failed on connection except
做点击流项目时,数据清洗后生成pageviews模型和visit模型,需要运行两次mr程序,所以在azkaban中把他俩作为一个job提交,先运行生成pv的mr程序,再去运行生成visit的mr程序(job中添加depandence依赖关系),但是在生成pv时,查看azkaban的web界面中flow的details,发现报错(虽然报错但是生成pv的mr程序运行结果是对的,但是因为前一个任务报错,...
原创
2018-02-12 11:06:30 ·
988 阅读 ·
1 评论