IMF SPARK 源代码发行定制班预习课程 IDEA Spark应用程序的调试 (1)从SparkSubmit入口进行调试

最新推荐文章于 2023-02-12 02:28:09 发布

段智华

最新推荐文章于 2023-02-12 02:28:09 发布

阅读量1.2k

点赞数 1

分类专栏： Spark源码版本定制发行班

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/51291262

版权

Spark源码版本定制发行班专栏收录该内容

51 篇文章 195 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文介绍了如何在IDEA中调试Spark应用程序，通过SparkSubmit入口设置断点，详细讲解了如何配置master以在本地运行，并在SparkSubmit的main方法及应用程序关键代码处设置断点，以便于深入理解执行流程。

摘要由CSDN通过智能技术生成

IDEA Spark应用程序的调试从SparkSubmit入口进行调试

1.下载spark-1.6.1
登录官网http://spark.apache.org/

2. 安装IntelliJ IDEA。进入下载页面：http://www.jetbrains.com/idea/download/，选择对应版本，下载并安装到集群中某个节

点上192.168.189.2 （作为后续调试时的IDE）。

3.将IDEA、IDE 安装到 worker2上192.168.189.2 。安装的winscp文件上传目录 IMFIdeaIDE

root@worker1:/usr/local/IMFIdeaIDE# ls
ideaIC-2016.1.1.tar.gz spark-1.6.1-bin-hadoop2.6.tgz spark-1.6.1.tgz
root@worker1:/usr/local/IMFIdeaIDE#

4. securt 远程在 ubuntu linux 下安装 idea报错，没有图形化页面

root@worker1:/usr/local/idea-IC-145.597.3/bin# idea.sh
OpenJDK 64-Bit