Hadoop环境测试

Ø 测试HDFS

 HDFS shell操作

#查看帮助

hadoop fs -help <cmd>

#上传

hadoop fs -put <linux上文件> <hdfs上的路径>

#查看文件内容

hadoop fs -cat <hdfs上的路径>

#查看文件列表

hadoop fs -ls /

#下载文件

hadoop fs -get <hdfs上的路径> <linux上文件>

 

上传文件到hdfs文件系统上

hadoop  fs  -put  <linux上文件>  <hdfs上的路径>

例如：hadoop fs -put /root/install.log hdfs://itcast01:9000/

删除hdfs系统文件

hadoop  fs  -rmr  hdfs://itcast01:9000/install.log

 

注：如果能正常上传和删除文件说明HDFS没问题。

Ø 测试Yarn

上传一个文件到HDFS

hadoop fs -put  words.txt  hdfs://itcast01:9000/

 

 让Yarn来统计一下文件信息

cd  /$HADOOP_HOME/etc/hadoop/share/hadoop/target/mapreduce/

#测试命令

hadoop jar hadoop-mapreduce-examples-2.7.0.jar wordcount /works.txt hdfs://itcast01:9000/wc

 

 

注：如果能正常生成一个目录，并把统计信息输出到文件夹下，说明Yarn没问题。