1.org.apache.spark.api.java.*位于/home/wind/桌面/software/spark/jars/spark-core_2.11-2.1.1.jar
scala.Tuple2位于/home/wind/桌面/software/spark/jars/scala-library-2.11.8.jar
2.使用saveAsTextFile将文件保存到hdfs时需要导入/home/wind/桌面/software/spark/jars/hadoop-common-2.7.3.jar
要保存为一个文件需使用sorted.repartition(1).saveAsTextFile("/hadoop/output");
3.java中使用System.out.println(),在YARN上运行时结果会输出在log中,查看log需打开http://master:8088/cluster/apps,点击相应任务ID-进入详情界面-点击log来查看具体输出。
编写程序时,运行结果及报错信息查看方法:
右键控制台中的url地址,例如http://master:8088/proxy/application_1502030671272_0006/等,打开链接,拖到最下方点击对应程序id的logs,stderr对应报错信息,stdout对应标准输出,即system.out.println()的输出。