数据处理

数据处理

1. IntelliJ IDEA 创建 scala 项目
   
2. 打包 jar包，上传服务器
   Project Structure----Artifacts

3. ：删除除了项目输出以外的所有包

4. 检查是否创建成功

有MANIFEST.MF则说明创建成功
5. 生成jar包
Build – build artifacts—Build
6. 查看生成的jar包

7. 启动spark

8. 提交HelloWorld任务
spark-submit
–class main.HelloWorld --master spark://master:7077 datamin.jar

9. 远程启动监听
alias spark-submit-d=‘spark-submit --master spark://master:7077 --driver-java-options “-
Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005”’
10. 提交调试任务
提交之前先启动hadoop 然后再启动spark
spark-submit
–class main.HelloWorld --master spark://master:7077 --driver-java-options
“-Xdebug
-Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=5005” datamin.jar

11. IDEA启动远程调试

回显调试过程