代码示例1
SparkConf sparkConf = new SparkConf()
.setAppName("spark-test-1")
.setMaster("local[2]");
JavaStreamingContext ssc = new JavaStreamingContext(sparkConf, Durations.seconds(4));
ssc.sparkContext().setLogLevel("ERROR");
代码示例2
SparkConf sparkConf = new SparkConf()
.setAppName("spark-test-1")
.setMaster("local[2]");
JavaSparkContext javaSparkContext = new JavaSparkContext(sparkConf);
JavaStreamingContext ssc = new JavaStreamingContext(javaSparkContext, Durations.seconds(4));
代码示例3
参数1:这里必须要大于2,因为还有个线程要接收数据
参数2:程序的名称
参数3:个人理解就是页面刷新的时间
参数4:暂不理解为什么需要这个
参数5:暂不理解为什么需要这个
JavaStreamingContext ssc = new JavaStreamingContext(
"local[2]",
"JavaLocalNetworkWordCount",
Durations.seconds(4),
System.getenv("SPARK_HOME"),
JavaStreamingContext.jarOfClass(JavaLocalNetworkWordCount.class.getClass()));
ssc.sparkContext().setLogLevel("ERROR");