spark：学习过程中遇到的一些问题及解决方法（如何将本地文件发布到HDFS）--11

./spark-shell --master spark://192.168.30.129:7077 -executor -memory 512m
http://localhost:4040/jobs/
hadoop fs -put week2.tar.gz/usr/txtdata/week2.tar.gz
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
最近一直出现启动hadoop但datanode无法启动的问题，每次都要删除/app文件夹 再格式化hadoop解决
运行hadoop程序时，有时候会报以下错误：
org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
这个错误应该还满常见的吧（至少我运行的时候是这样的）
hadoop dfsadmin -safemode leave
?????????????????????????????????????????
???????????????????????????????????????????
InvalidInputException: Input path does not exist: hdfs://localhost:9000/datatxt/week2/directory
经过上网查阅知道input目录没加入到hdfs中去
命令为：hadoop fs -put conf input
??????????????????????????????????????????
???????????????????????????????????????????
hadoop fs -copyFromLocal week2 /datatxt
1.先在HDFS创建几个数据目录：
　　hadoop fs -mkdir -p /datatnt
　　hadoop fs -mkdir -p /outputtnt
2.目录/datatnt用来存放Hadoop例子的数据文件，运行这个MapReduce任务的结果输出到/outputtnt目录中。
3.将本地文件上传到HDFS中：
　　hadoop fs -put xxxx.xx /datatnt/
　　可以查看上传后的文件情况，执行如下命令：
　　hadoop fs -ls /datatnt
　　可以看到上传到HDFS中的文件。
　　通过命令
　　hadoop fs -text /datatnt
4.下面，运行WordCount例子，执行如下命令：
　　hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /datatnt /outputtnt
　　可以看到控制台输出程序运行的信息
　　查看结果，执行如下命令：
　　hadoop fs -text /outputtnt/part-r-00000
5.scala> val rdd3 = sc.textFile("/datatnt/week2/directory/")
  rdd3.toDebugString