系统测试
3.1.测试方法
1.首先在Intellij IDEA软件上运行代码,测试代码是否能出现预期结果。
2.若能正确运行出现正确结果,则修改文件输入输出路径将其打包传输至虚拟机部署运行,再次测试是否能出现预期结果。
3.2.测试描述
1.修改idea文件路径
2.选中idea上方build选项选择Rebuild Project
在idea右边依次选中compile,package进行打包
3把所有idea项目scala文件打包到一起
4利用Xshell7和Xftp7将打包文件和项目数据集上传到虚拟机
5.启动虚拟机部署运行相关需求
输入start-all.sh命令,成功后输入jps命令查看是否正常启动
6.分配路径保证命令顺利执行
运行spark-submit并在命令中指定输入输出路径和数据集路径
下图是正常运行会出现的界面
3.3. bug与修正方法
错误:第一次输入命令运行时出现了Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException: 1
这样的错误
修正方法:输入命令时未加入部署运行输出结果路径,只需在命令中加入想要输出指定路径即可
3.4.预期结果
以其中两个输出的json文件展示
打开yearcount.json文件查看结果,发现符合预期结果
打开ershouche文件查看结果,发现符合预期结果
打开ershouche文件查看结果,发现符合预期结果