怎么上传文件到spark服务器上,提交任务到Spark

1.场景

本人比较熟悉Java语言，现以Java的WordCount为例讲解这整个过程，要实现计算出给定文本中每个单词出现的次数。

2.环境测试

在讲解例子之前，我想先测试一下之前搭建好的环境。

2.1测试Hadoop环境

首先创建一个文件wordcount.txt 内容如下：

Hello hadoop

hello spark

hello bigdata

yellow banana

red apple

然后执行如下命令：

hadoop fs -mkdir -p /Hadoop/Input(在HDFS创建目录)

hadoop fs -put wordcount.txt /Hadoop/Input(将wordcount.txt文件上传到HDFS)

hadoop fs -ls /Hadoop/Input (查看上传的文件)

hadoop fs -text /Hadoop/Input/wordcount.txt (查看文件内容)

2.2Spark环境测试

我使用spark-shell，做一个简单的WordCount的测试。我就用上面Hadoop测试上传到HDFS的文件wordcount.txt。

首先启动spark-shell命令：

spark-shell

然后直接输入scala语句：

val file=sc.textFile("hdfs://Master:9000/Hadoop/Input/wordcount.txt")

val rdd = file.flatMap(line => line.split(" ")).map(word => (word,1)).reduceByKey(_+_)

rdd.collect()

rdd.foreach(println)

退出使用如下命令：

:quit

这样环境测试就结束了。

3.Java实现单词计数

packagecom.example.spark;importjava.util.Arrays;importjava.util.Iterator;importjava.util.List;importjava.util.regex.Pattern;importorg.apache.spark.SparkConf;importorg.apache.spark.api.java.JavaPairRDD;importorg.apache.spark.api.java.JavaRDD;importorg.apache.spark.api.java.JavaSparkContext;importorg.apache.spark.api.java.function.FlatMapFunction;importorg.apache.spark.api