Win7 Eclipse 搭建spark java1.8环境：WordCount helloworld例子

最新推荐文章于 2021-03-13 22:31:25 发布

mark_to_win

最新推荐文章于 2021-03-13 22:31:25 发布

阅读量303

点赞数

分类专栏： Spark和Scala 文章标签： Eclipse 搭建spark java1.8环境 WordCount helloworld例子马克-to-win Spark

本文链接：https://blog.csdn.net/mark_to_win/article/details/90441252

版权

本文介绍了在Win7环境下使用Eclipse Oxygen搭建Spark 1.6.1并用Java 1.8实现WordCount程序的步骤。通过导入spark-assembly-1.6.1-hadoop2.6.0.jar，设置内存参数，并读取本地或HDFS文件进行词频统计。示例代码展示了如何使用flatMap和reduceByKey操作。

摘要由CSDN通过智能技术生成

Win7 Eclipse 搭建spark java1.8环境：WordCount helloworld例子
马克-to-win @ 马克java社区：在eclipse oxygen上创建一个普通的java项目，然后把spark-assembly-1.6.1-hadoop2.6.0.jar这个包导进工程就ok了。只要启动start-dfs,下面的程序就可以运行了。
package com;
import java.util.Arrays;
import java.util.List;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaRDD;
import org.apache.spark.api.java.JavaSparkContext;
import org.apache.spark.api.java.function.FlatMapFunction;
import org.apache.spark.api.java.function.Function2;