Spark Master 用Scala实现任务提交

最新推荐文章于 2024-08-07 20:31:19 发布

palace_wy

最新推荐文章于 2024-08-07 20:31:19 发布

阅读量1.2k

点赞数 2

分类专栏： Scala 文章标签： Spark graphX

本文链接：https://blog.csdn.net/weixin_43127762/article/details/89066246

版权

本文演示了如何使用Scala编写Spark程序，通过设置Master为指定的Spark集群地址，读取并处理test.txt文件中的数据，查找包含'hello world'的行。此外，还介绍了HDFS的基本操作，如创建目录、上传、下载文件。最后提到了如何在IDEA中打包成jar，并通过spark-submit命令在服务器上提交任务。

摘要由CSDN通过智能技术生成

话不多说，上demo~

test.txt文件里包含了hello world行，读者可自己修改测试、

val inputfile=“file:///home/wangyang/helloSpark.txt” //文件的绝对路径
val conf = new SparkConf().setAppName(“HelloWorld”).setMaster(“spark://IP地址:7077”) //提交的服务器地址
val sc = new SparkContext(conf)
val textfile = sc.textFile(inputfile)
//查询包含hello world的行
val lines = textfile.filter(line => line.contains(“helloworld”))
lines.foreach(println)

HDFS 文件系统

Hadoop之HDFS上测试创建目录、上传、下载文件

1、HDFS上创建目录
${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1
在这里插入图片描述
2、上传本地文件到HDFS上
${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1

3、上传本地文件到HDFS上
${HADOOP_HOME}/bin/hdfs dfs -cat /demo