模拟HDFS–》MapReduce–》HDFS过程:
在linux中运行jar包【使用MapReduce处理指定的HDFS中的数据,处理完成之后将数据返回到指定的HDFS中】
具体操作步骤:
1、在eclipse中生成jar包:export–》生成jar包–》填写JAR file:生成路径–》选择Main class–》finish
2、将jar包上传到linux,执行:
yarn jar xxxxx.jar /输入hdfs中的文件路径 /指定一个日志输出路径
3、启动hdfs:
hadoop/sbin/start-dfs.sh;
4、启动yarn:
hadoop/sbin/start-yarn.sh
5、启动jobhistory:
hadoop/sbin/mr-jobhistory-daemon.sh
6、hdfsUI界面:
192.168.244.135:50070
7、jobhistoryUI界面:在配置文件【mapred-site.xml】中配置端口
192.168.244.135:19888