spark笔记

1.org.apache.spark.api.java.*位于/home/wind/桌面/software/spark/jars/spark-core_2.11-2.1.1.jar

scala.Tuple2位于/home/wind/桌面/software/spark/jars/scala-library-2.11.8.jar

2.使用saveAsTextFile将文件保存到hdfs时需要导入/home/wind/桌面/software/spark/jars/hadoop-common-2.7.3.jar

要保存为一个文件需使用sorted.repartition(1).saveAsTextFile("/hadoop/output");

3.java中使用System.out.println()，在YARN上运行时结果会输出在log中，查看log需打开http://master:8088/cluster/apps，点击相应任务ID-进入详情界面-点击log来查看具体输出。

编写程序时，运行结果及报错信息查看方法：

右键控制台中的url地址，例如http://master:8088/proxy/application_1502030671272_0006/等，打开链接，拖到最下方点击对应程序id的logs，stderr对应报错信息，stdout对应标准输出，即system.out.println()的输出。