./spark-shell --master spark://192.168.30.129:7077 -executor -memory 512m
http://localhost:4040/jobs/
hadoop fs -put week2.tar.gz/usr/txtdata/week2.tar.gz
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
最近一直出现启动hadoop但datanode无法启动的问题,每次都要删除/app文件夹 再格式化hadoop解决
运行hadoop程序时,有时候会报以下错误:
org.apache.hadoop.dfs.SafeModeException: Cannot delete /user/hadoop/input. Name node is in safe mode
这个错误应该还满常见的吧(至少我运行的时候是这样的)
hadoop dfsadmin -safemode leave
?????????????????????????????????????????
???????????????????????????????????????????
InvalidInputException: Input path does not exist: hdfs://localhost:9000/datatxt/week2/directory
经过上网查阅知道input目录没加入到hdfs中去
命令为:hadoop fs -put conf input
??????????????????????????????????????????
???????????????????????????????????????????
hadoop fs -copyFromLocal week2 /datatxt
1.先在HDFS创建几个数据目录:
hadoop fs -mkdir -p /datatnt
hadoop fs -mkdir -p /outputtnt
2.目录/datatnt用来存放Hadoop例子的数据文件,运行这个MapReduce任务的结果输出到/outputtnt目录中。
3.将本地文件上传到HDFS中:
hadoop fs -put xxxx.xx /datatnt/
可以查看上传后的文件情况,执行如下命令:
hadoop fs -ls /datatnt
可以看到上传到HDFS中的文件。
通过命令
hadoop fs -text /datatnt
4.下面,运行WordCount例子,执行如下命令:
hadoop jar /usr/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /datatnt /outputtnt
可以看到控制台输出程序运行的信息
查看结果,执行如下命令:
hadoop fs -text /outputtnt/part-r-00000
5.scala> val rdd3 = sc.textFile("/datatnt/week2/directory/")
rdd3.toDebugString
spark:学习过程中遇到的一些问题及解决方法(如何将本地文件发布到HDFS)--11
最新推荐文章于 2024-04-28 07:59:10 发布