IDEAJ中Scala打包提交Spark集群运行

最简单一个demo
//读取hdfs,然后写入hdfs

package com.spark.FirstApp
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object WordCountTest {
  def main(args: Array[String]) {
    val inputFile =  "hdfs://192.168.1.105:9000/word.txt"
    val conf = new SparkConf().setAppName("WordCount111").setMaster("spark://centos701:7077")
    val sc = new SparkContext(conf)
    val textFile = sc.textFile(inputFile,1)
 textFile.saveAsTextFile("hdfs://192.168.1.105:9000/test/hello.txt")
  }
}

IDEAJ中Build->BuidProject->Build Artifacts->Build,然后找到jar包。

在客户机中提交
./spark-submit –class com.spark.FirstApp.WordCountTest /Users/liuchao/Desktop/20171211.jar

然后查看hdfs发现文件成功写入

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值