Centos7下Spark之搭建

Spark开发环境搭建

官网

AI + BigData + 云计算

其实 Spark 的搭建过程还是挺顺手的，基本没什么坑。

结果：

统计 wc.txt 文本中词频

hadoop,spark,hadoop
spark,flink,flink,spark
hadoop,hadoop

执行结果：

图片中可以看出： flink 出现2次; spark 出现3次；hadoop 出现4次

Spark 是基于 Scala 语言进行开发的，分别提供了基于 Scala、Java、Python 语言的 API，如果你想使用 Scala 语言进行开发，则需要搭建 Scala 语言的开发环境。这边文章(Spark开发环境搭建)也详细的介绍了 Scala 环境的搭建。

端口：4040