hadoop学习3-MapReduce的集群安装与部署

复习上一次学习

1)HDFS的配置信息 core-site.xml hdfs-site.xml

2）HDFS集群模式:独立模式、伪分布式模式、分布式模式

3)HDFS Shell命令和启动

   FsShell、dfsadmin管理命令、 fsck检查磁盘健康状态 、balancer磁盘均衡器、archive 归档 小文件多将导致namenode过大

4)hadoop1.x与hadoop2.x的区别，以及相应的应用场景

5)hadoop集群的启动顺序

   start-dfs.sh ---> hadoop-daemon.sh/hadoop-daemons.sh-->hadoop-->java程序

MapReduce集群环境搭建

配置conf/mapred-site.xml

MapReduce WordCount代码运行

Hadoop eclipse插件

 编译hadoop1.2.1 ant 获取hadoop-plugin1.2.1.jar放到eclipse的plugin中

启动eclipse，配置map/reduce locations 

就可以打开发现连接hdfs文件系统

修改wordcount.java run configuration 设置

执行run 查看配置好的hdfs location句可以看到输出的结果