windows本地搭建spark学习环境

windows本地搭建spark学习环境

1、准备hadoop环境以及spark环境：

链接：https://pan.baidu.com/s/1vPB2212SSMnFknEmSoqsVg?pwd=f4fm 
提取码：f4fm

2、配置hadoop环境(新建变量：HADOOP_HOME,编辑Path变量：添加hadoop路径)：

3、执行解压缩文件路径下 bin 目录中的 spark-shell.cmd 文件，启动 Spark 本地环境

4、测试，在 bin 目录中创建 input 目录，并添加word.txt 文件, 在命令行中输入脚本代码

sc.textFile("input/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect

5、Scala的小知识点

1、scala自动生成返回值：在表达式后面输入.var按回车就行