Spark java程序入门(一)初始化spark

本文介绍了如何在Java程序中初始化Spark,包括创建SparkConf对象和JavaSparkContext,以及设置初始化参数的方法,例如通过代码直接设置或使用spark-submit提交时设置。
摘要由CSDN通过智能技术生成

把提交spark独立应用时需要初始化spark,告知spark要运行的应用的名字,运行方式,jar包的主类等等

一、在自己的独立应用中使用spark的方法

      在代码中初始化spark:

      SparkConf conf = new SparkConf();   //新建SparkConf对象,通过设置键值对的方式配置spark的运行(具体见下方参数设置方法)

      JavaSparkContext sc = new JavaSparkContext(conf);  //用于联系spark集群,建立RDD,累加器,广播变量等

       之后就可以利用SparkContext对象建立RDD,开始RDD编程啦


二、初始化参数的方式有两种:

       (1)在程序中调用SparkConf对象的方法直接设置,如本地多线程运行wordcount程序,则可用

                 SparkConf conf  = new SparkConf().setMaster("local[*]").setAppName("wordcount");

       (2)在用spark-submit提交程序时直接设置也可以

                  spark-submit  --master:local[*]  --class:Word  wordcount.jar



评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值