hadoop学习3-MapReduce的集群安装与部署

复习上一次学习

1)HDFS的配置信息 core-site.xml hdfs-site.xml

2)HDFS集群模式:独立模式、伪分布式模式、分布式模式

3)HDFS Shell命令和启动

   FsShell、dfsadmin管理命令、 fsck检查磁盘健康状态 、balancer磁盘均衡器、archive 归档 小文件多将导致namenode过大

4)hadoop1.x与hadoop2.x的区别,以及相应的应用场景

5)hadoop集群的启动顺序

   start-dfs.sh ---> hadoop-daemon.sh/hadoop-daemons.sh-->hadoop-->java程序


MapReduce集群环境搭建

配置conf/mapred-site.xml




MapReduce WordCount代码运行





Hadoop eclipse插件

 编译hadoop1.2.1 ant 获取hadoop-plugin1.2.1.jar放到eclipse的plugin中

启动eclipse,配置map/reduce locations 


就可以打开发现连接hdfs文件系统


修改wordcount.java run configuration 设置


执行run 查看配置好的hdfs location句可以看到输出的结果



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值