Scala+Spark+Hadoop+IDEA实现WordCount单词计数，上传并执行任务（简单实例-下）

本文链接：https://blog.csdn.net/mcb520wf/article/details/84061817

Scala+Spark+Hadoop+IDEA上传并执行任务

本文接续上一篇文章，已经在IDEA中执行Spark任务执行完毕，测试成功。

上文链接：Scala +Spark+Hadoop+Zookeeper+IDEA实现WordCount单词计数（简单实例）

一、打包

1.1 将setMaster注释掉

package day05

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

import scala.collection.mutable

/**
  * 打包注意事项：1，将setMaster注释掉
  *             2，不需要打印
  */
object SparkWordCount {

  def main(args: Array[String]): Unit = {
    //配置信息类
    //1，setAppName(任务名称) setMaster(表示开启多少个线程运行)
    System.setProperty("hadoop.home.dir", "/usr/local/hadoop-2.7.5")

    val conf: SparkConf = new SparkConf().setAppName("SparkWordCount")//.setMaster("local[*]")

    //上下文对象
    val sc: SparkContext = new SparkContext(conf)

    //读取数据(数据通过数组 args进入)
    val lines: RDD[String] = sc.textFile(args(0))

    //处理数据
    val map01: RDD[(String, Int)] = lines.flatMap(_.split(" ")).map((_, 1))
    val wordCount: RDD[(String, Int)] = map01.reduceByKey(_ + _).sortBy(_._2, false)

    val wcToBuffer: mutable.Buffer[(String, Int)] = wordCount.collect().toBuffer
//    println(wcToBuffer)
    sc.stop()
  }
}

1.2 打开 clear 并打包

（1）工具栏-->view-->Tool Buttons（右侧出现 Maven Project）

（2）双击clean

（3）双击package

打包结果：（出现target、连个jar包）

注意：如果出现ClassNotFound 并且出现了只有一个Jar包的话，就将其他的没有用的类删掉，只留下当前类。

1.3 拷贝生成的Jar包

二、上传

2.1 将Jar包拷贝到指定目录下（我这儿将scala02-1.0-SNAPSHOT.jar改名为 swc.jar）

/root/swc.jar

2.2 在spark中运行

./bin/spark-submit --class day05.SparkWordCount --master spark://centos01:7077 --executor-memory 1g --total-executor-cores 2 /root/swc.jar hdfs://centos01:9000/ws hdfs://centos01:9000/outp

–class设定的是程序的入口点，也就是我们的驱动类，这点和Hadoop MapReduce 程序很相似。
–master是我们设置的master URL，这里官方有详细的参数列表：

local:在本地的单线程运行
local[k]:在本地多线程运行，运行线程数为K
local[*]:在本地多线程运行，尽可能多的线程数量
spark://HOST:PORT ：连接上spark单点模式运行，端口PORT是提前配置好的，默认端口7077
mesos://HOST:PORT ：连接上mesos(好像是一种集群支持工具，没有深入研究)
yarn ：基于Hadoop的yarn运行，集群的位置在 HADOOP_CONF_DIR ，YARN_CONF_DIR这两个变量指定的位置

2.3 从Web ui查看信息是否上传成功。

（1）查看spark任务

（2）查看hdfs 文件上传

（3）通过命令来查看内容。

[root@centos01 spark-1.6.3-bin-hadoop2.6]# hdfs dfs -cat /outp/part-00000
(hello,12)
(java,9)
[root@centos01 spark-1.6.3-bin-hadoop2.6]# hdfs dfs -cat /outp/part-00001
(scala,7)
(new,7)
(work,7)
(python,5)
[root@centos01 spark-1.6.3-bin-hadoop2.6]# hdfs dfs -cat /outp/part-00002
(javaScript,4)
(jvm,4)
(world,3)
[root@centos01 spark-1.6.3-bin-hadoop2.6]#