Linux系统中Find命令的使用及spark的wordcount程序启动

最新推荐文章于 2024-04-17 09:49:09 发布

Hi洛一

最新推荐文章于 2024-04-17 09:49:09 发布

阅读量245

点赞数

文章标签： spark linux 大数据知识图谱

本文链接：https://blog.csdn.net/qq_40233706/article/details/130483524

版权

该文描述了如何在Linux环境中查找并进入Spark目录，启动SparkShell，然后编写并执行一个基础的Wordcount程序进行文本数据的统计分析。通过`find`命令找到Spark安装位置，使用`cd`进入，以`local[6]`模式启动Shell，接着加载数据文件并运用reduceByKey进行单词计数。

摘要由CSDN通过智能技术生成

# 1.查找spark所在目录
find / -name spark

# 2.进入目录
cd /export/servers/spark

# 3.启动sparkshell
bin/spark-shell --master local[6]

# 4.编写wordcount代码并执行
import org.apache.spark.sql.SparkSession

val sc = SparkSession.builder.master("local[*]").appName("test").getOrCreate()

val rdd1 = sc.sparkContext.textFile("file:///export/data/wordcount.txt")

val flattenCountRdd = rdd1.flatMap(_.split(" ")).map((_, 1))

val aggCountRdd = flattenCountRdd.reduceByKey(_ + _)

val result = aggCountRdd.collect

print(result)