Spark实例学习

1.开启hadoop环境，启动其HDFS和yarn。

2.接着开启Spark环境。

实例1：（Spark自带例子）

计算的值 (感兴趣的可以研究一下源码）

（1）java版

（2）python版

实例2：wordcount

1.安装idea，在命令行终端中，进入$IDEA_HOME/bin目录，输入./idea.sh进行启动。

2.配置Scala开发环境：

安装完成之后，

1.Code：

 

2.上传text文档到hdfs，对其进行计算。

3.编辑文件路径：

 

4.run，运行结果：

 

Text文档：

import org apache spark api java JavaPairRDD

Spark assembly has been built with Hive

including Datanucleus jars on classpath

import org apache spark api java JavaRDD

（随意建一个）