复习上一次学习
1)HDFS的配置信息 core-site.xml hdfs-site.xml
2)HDFS集群模式:独立模式、伪分布式模式、分布式模式
3)HDFS Shell命令和启动
FsShell、dfsadmin管理命令、 fsck检查磁盘健康状态 、balancer磁盘均衡器、archive 归档 小文件多将导致namenode过大
4)hadoop1.x与hadoop2.x的区别,以及相应的应用场景
5)hadoop集群的启动顺序
start-dfs.sh ---> hadoop-daemon.sh/hadoop-daemons.sh-->hadoop-->java程序
MapReduce集群环境搭建
配置conf/mapred-site.xml
MapReduce WordCount代码运行
Hadoop eclipse插件
编译hadoop1.2.1 ant 获取hadoop-plugin1.2.1.jar放到eclipse的plugin中
启动eclipse,配置map/reduce locations
就可以打开发现连接hdfs文件系统
修改wordcount.java run configuration 设置
执行run 查看配置好的hdfs location句可以看到输出的结果