Spark二 安装本地模式Spark

Spark是使用Scala编写的，运行在JVM上

1) 安装JDK

2) 下载并解压缩spark-2.3.1-bin-hadoop2.7.tgz

3) 打开Scala版本的shell，输入bin/spark-shell

4) 调整日志级别控制输出信息 conf/log4j.properties

    log4j.rootCategory=WARN, console    #设置为只显示警告和严重的信息

5) 测试用例

    scala> var lines = sc.textFile("README.md") #spark/README.md

    scala> lines.count()

    scala> lines.first()