启动Hadoop
1.执行命令启动前面实验部署好的Hadoop系统。
[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# sbin/start-all.sh
2.验证HDFS上没有wordcount的文件夹
[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# bin/hadoop fs -ls / #查看HDFS上根目录文件 /
3.上传数据文件到HDFS
[root@master ~]# cd /usr/cstor/hadoop/
[root@master hadoop]# bin/hadoop fs -put /root/data/5/word /
4.编写MapReduce程序
5.使用Eclipse开发工具将该代码打包
- 假定打包后的文件名为hdpAction.jar,主类WordCount位于包njupt下,则可使用如下命令向YARN集群提交本应用。
[root@master ~]# yarn jar hdpAction.jar njupt.WordCount /word /wordcount 1
- 其中“yarn”为命令,“jar”为命令参数,后面紧跟打包后的代码地址,“njupt”为包名,“WordCount”为主类名,“/word”为输入文件在HDFS中的位置,/wordcount为输出文件在HDFS中的位置。