Windows安装Spark-2.2.0

前提:安装scala-2.11.8.msi

1、根据上篇安装部署好Hadoop环境

2、下载Spark软件:http://spark.apache.org/downloads.html

3、解压到D:\BigDataApp\spark-2.2.0-bin-hadoop2.7

4、配置系统环境变量:创建系统变量SPARK_HOME,内容为D:\BigDataApp\spark-2.2.0-bin-hadoop2.7,添加%SPARK_HOME%\bin 和 %SPARK_HOME%\sbin到系统变量PATH中

5、cmd运行:spark-shell

验证:看到Spark context available as 'sc' 则启动成功

Scala验证:

val textFile=sc.textFile("C:\\logs\\1.txt")
val tokenizedFileData = textFile.flatMap(line=>line.split(" "))
val countPrep = tokenizedFileData.map(word=>(word,1))
val counts = countPrep.reduceByKey((accumValue, newValue)=>accumValue+newValue)
var sortedCounts = counts.sortBy(kvPair=>kvPair._2,false)
//sortedCounts.saveAsTextFile("file:///SparkOutputData/ReadMeWordCount")
sortedCounts.saveAsTextFile("C:\\logs\\test")

阅读更多
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/taogumo/article/details/80696399
个人分类: 软件安装
想对作者说点什么? 我来说一句

Windows安装hadoop

2011年08月04日 172KB 下载

windows安装及简单配置mongodb3.6

2018年02月12日 15KB 下载

windows安装

2012年11月03日 28KB 下载

windows安装项目

2014年08月11日 474KB 下载

Windows安装MySQL

2014年11月17日 614KB 下载

maven windows安装

2018年02月01日 161KB 下载

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭