Spark Master 用Scala实现任务提交

话不多说，上demo~

test.txt文件里包含了hello world行，读者可自己修改测试、

val inputfile=“file:///home/wangyang/helloSpark.txt” //文件的绝对路径
val conf = new SparkConf().setAppName(“HelloWorld”).setMaster(“spark://IP地址:7077”) //提交的服务器地址
val sc = new SparkContext(conf)
val textfile = sc.textFile(inputfile)
//查询包含hello world的行
val lines = textfile.filter(line => line.contains(“helloworld”))
lines.foreach(println)

HDFS 文件系统

Hadoop之HDFS上测试创建目录、上传、下载文件

1、HDFS上创建目录
${HADOOP_HOME}/bin/hdfs dfs -mkdir /demo1

2、上传本地文件到HDFS上
${HADOOP_HOME}/bin/hdfs dfs -put ${HADOOP_HOME}/etc/hadoop/core-site.xml /demo1

3、上传本地文件到HDFS上
${HADOOP_HOME}/bin/hdfs dfs -cat /demo1/core-site.xml

4、从HDFS上下载文件到本地
${HADOOP