Intellij Idea远程调试利用docker部署的spark集群(standalone)的端口问题
因正式环境和本地网络策略不通(docker宿主机无法和我自己的电脑互相ping通),无法通过Idea直接调试任务,总不能每次都打包吧,太痛苦了。一直使用本地模式,也无法测试任务的真实运行情况。打开网络策略,运维需要指定端口号,借机了解了spark的两个参数:spark.driver.host、spark.driver.port和spark.blockManager.port。 host就...
原创
2018-07-12 17:20:53 ·
1261 阅读 ·
0 评论