再探spark之一（复习之前）加spark如何实现远程调试代码

Scala的 练习https://blog.csdn.net/yewakui2253/article/details/80022403

alt+p可以用来上传东西仅限于secureCRT

然后put F:\Users\Administrator\WorkspacesIDEA\scalaMaven\target\scalaMaven-1.0.jar就可以将东西传到Linux上了

没启动spark的话。

可以通过 sbin/start-all.sh 来启动spark

按crtl+c来终止任务，而不是ctrl+z

spark-shell --master spark://192.168.235.128:7077  连接到spark上

 spark-shell --master spark://192.168.235.128:7077 --total-executor-cores 3 调整任务用核的数量

 spark-shell --master spark://192.168.235.128:7077 --executor-memory 2g 用2g运行内存

spark-submit --master spark://192.168.235.128:7077 --class org.apache.spark.examples.SparkPi /export/servers/spark-2.1.0-bin-hadoop2.7/examples/jars/spark-examples_2.11-2.1.0.jar 100   用来运行spark-submit任务

远程调试代码如下

package com.wxa.spark.one

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by root on 2016/5/14.
  * 远程调试的方法
  */
object WordCount {
  def main(args: Array[String]) {
    //非常重要，是通向Spark集群的入口
    val conf = new SparkConf().setAppName("WC").
      setJars(Array("F:\\Users\\Administrator\\WorkspacesIDEA\\scalaMaven\\target\\scalaMaven-1.0.jar"))
        .setMaster("spark://hadoop01:7077")

    val sc = new SparkContext(conf)

    //textFile会产生两个RDD：HadoopRDD  -> MapPartitinsRDD
    sc.textFile(args(0)).cache()
      // 产生一个RDD ：MapPartitinsRDD
      .flatMap(_.split(" "))
      //产生一个RDD MapPartitionsRDD
      .map((_, 1))
      //产生一个RDD ShuffledRDD
      .reduceByKey(_+_)
      //产生一个RDD: mapPartitions
      .saveAsTextFile(args(1))
    sc.stop()
  }
}