Spark菜鸟学习营Day6 分布式代码运行调试

Spark菜鸟学习营Day6

分布式代码运行调试

作为代码调试，一般会分成两个部分

1. 语法调试，也就是确定能够运行
2. 结果调试，也就是确定程序逻辑的正确

其实这个都离不开运行，所以我们说一下如何让开发的Spark程序运行。
Spark的代码有一个特色，就是延时运行机制，就是当我们调用map等方法时，并不会立即触发运行。
而是会等待后续统一触发的处理。

所以我们需要在程序加入这个触发处理的环节。

这里分三步：

• 步骤1：在程序中使用append方法输出计算结果

        appendResultRDD(extendedQtslRDD, QtslTempPojoExtend.class);

• 步骤2：在测试程序中获取输出，并且进行打印

            printResult(
                result.seek("QtslTempPojoExtend", QtslTempPojoExtend.class)
                        .get());

• 步骤3：如果结果正确，请将控制台中打印的运行结果保存为json文件，并添加对应断言，这样我们就形成了一个自动化测试案例！！！

        assertRDDEquals(
                result.seek("QtslTempPojoExtend", QtslTempPojoExtend.class)
                        .get(),
                "OUT_TRD_QTSL_EXTEND_600_1",
                "测试第一个输出");

这样就完整完成了我们一个程序的开发！！！

转载于:https://www.cnblogs.com/dt-zhw/p/5837330.html