上传文本到hdfs上的一些命令

在hadoop下创建文件夹

bin/hdfs dfs -mkdir -p /usr/hadoop/spark/

touch wc.input  写一些文本进去、

上传到hdfs上  bin/hdfs dfs -put wc.input /usr/hadoop/spark/

查看是否上传成功  bin/hdfs dfs -text  /usr/hadoop/spark/wc.input

 

检测hdfs是否脱离安全模式

[root@hadoop-spark hadoop]# bin/hdfs dfsadmin -safemode get

 

启动spark读取

scala> val rdd=sc.textFile("hdfs://hadoop-spark.dragon.org:8020/user/hadoop/data/wc.input")

scala> rdd.cache()

scala> val wordcount=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_)

scala> wordcount.take(10)

scala> val wordsort=wordcount.map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

scala> wordsort.take(10)

 

转载于:https://www.cnblogs.com/gyadmin/p/8276363.html