用Java、Scala编写Spark应用程序

 

一、官网下载安装Scala：scala-2.12.8.tgz

https://www.scala-lang.org/download/

tar -zxvf scala-2.12.8.tgz -C /opt/module

mv scala-2.12.8 scala

测试：scala -version

启动：scala

二、官网下载安装Spark：spark-2.4.2-bin-hadoop2.7.tgz

https://www.apache.org/dyn/closer.lua/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

解压、重命名

启动spark

• 先启动hadoop 环境  start-all.sh

②启动spark环境

进入到SPARK_HOME/sbin下运行start-all.sh/opt/module/spark/sbin/start-all.sh

查看spark的web控制页面：http://bigdata128:8080/

③启动Spark Shell

此模式用于interactive programming，先进入bin文件夹后运行：spark-shell

SecureCRT 下 spark-shell 下scala>

④退出Spark Shell

scala> :quit

三、使用Spark Shell编写代码

读取本地文件(scala中运行)

Val textFile=sc.textFile(file:///opt/module/spark/bin/f1.txt)

显示第一行内容

textFilefirst()

读取HDFS文件

Val textFile=sc.textFile(“hdfs://192.168.43.87:9000/f1.txt”)

对上述hdfs根目录下f1.txt文件进行词频统计

查看结果

四、用Scala语言编写Spark独立应用程序

第一个Spark应用程序：WordCount

参照网址：

http://dblab.xmu.edu.cn/blog/1311-2/