spark本地debug wordcount
环境
1、win
2、linux搭建spark 3.0.1
3、scala 2.12.13
4、idea
idea开启远程应用
修改spark conf
cd ./spark/conf
vim ./spark-enc.sh
export SPARK_MASTER_OPTS="-agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=10000"
debug 开始调试
scala代码 使用local[2]模式
object WordCoun
原创
2021-02-02 10:18:55 ·
331 阅读 ·
0 评论