hadoop(二)hdfs和mapreduce测试.txt

验证hdfs是否成功:
    访问:http://ip:50070/进入hadoop页面
    访问该页面下的Utilities 下的browse the file system 可以访问文件
    往hdfs目录中添加文件    hadoop fs -put 文件地址 配置的hdfs协议地址(hdfs-site.xml中):hdfs://hadoop:9000/
    从hdfs目录中下载文件    hadoop fs -get hdfs://hadoop:9000/文件目录/文件名
验证mapreduce程序是否成功:
    cd到hadoop_home的share目录下
    指令:
        hadoop jar hadoop-mapreduce-exmples-2.4.1.jar(jar包) pi(指定主类) 5(map的任务数量) 5(每一个任务的取样数量,取样数越大,精度越高)
在hdfs中创建目录
        hadoop fs -mkdir hdfs://hadoop01:9000/wordcount/input
        或者
        hadoop fs -mkdir /wordcount/input
将要计算的数据放入目标文件夹下
        hadoop -fs put test.txt  hdfs://hadoop01:9000/wordcount/input
运行相应的jar文件,进行计算并输出计算结果
        hadoop jar hadoop-mapreduce-examples-2.4.1.jar wordcount  /wordcount/input /wordcount/output

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值