https://spark.apache.org/docs/latest/quick-start.html,版本:spark-2.1.1-bin-hadoop2.7,我本地hadoop版本是2.7.3
需要注意的地方
1、
网页中这一句,
val textFile = sc.textFile("README.md")
对于需要改写成:val textFile = sc.textFile("file:///usr/local/spark-2.1.1-bin-hadoop2.7/README.md") ,就是要用file定位本地文件位置,解决办法是从stackover上查到的,
否则报类似的错:
org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://ns1/user/hadoop/README.md
2、
spark命令行执行application
执行命令:[hadoop@node1 bin]$ ./spark-submit --class "SimpleApp" --master spark://10.112.3.234:12345 /home/hadoop/simple-project-0.0.1-SNAPSHOT.jar