自己最近要用map_reduce,就记一下常用的指令,有可能不全

1. 一般先尝试word_count实例程序,我用的python写的,如http://dongxicheng.org/mapreduce/hadoop-streaming-programming/所说的,不过要注意的是run.sh里面的配置条件:

$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-fb-0.20.1.9-streaming.jar\
    -input /tmp/appollo/input\
    -output /tmp/appollo/output \
    -mapper cat \
    -reducer wc


mapper.py,reducer.py和网页上一致。


2. scp ~/test/  root@192.168.1.111:/test/ 局域网内数据共享比较好用;

3. hadoop常用指令:

     hadoop fs -put  文件夹   目标位置(如/tmp/appollo/input)

     hadoop fs -mkdir

     hadoop fs -ls

     hadoop fs -rmr

    

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值