hadoop学习笔记003（感受上传到dfs和hadoop统计计算）

启动和停止hadoop常用命令

        stop-all.sh     

        start-all.sh
        start-dfs.sh

datanode没有启动成功，删除格式化日志

解决：
        1）删除“/usr/hadoop/tmp”里面的内容
               rm -rf /usr/hadoop/tmp/*
        2）删除“/tmp”下以“hadoop”开头的文件
               rm -rf /tmp/hadoop*
        3）重新格式化hadoop
               hadoop namenode -format
        4）启动hadoop
               start-all.sh

启动hadoop

hadoop fs -ls hdfs://localhost:9000/

将本文件放到dfs文件上

hadoop fs -put install.log.syslog hdfs://127.0.0.1:9000/

查看hadoop的dfs下根目录

    hadoop fs -ls /

获取dfs上的文件刚才上传的文件

    hadoop fs -get /install.log.syslog 

======>初步实验
去到目录
/usr/mysoft/hadoop-2.4.0/share/hadoop/mapreduce

建目录

hadoop fs -mkdir /testdata
hadoop fs -mkdir /testdata/sample

准备的test.data数据

hello tom
hello jack
hello tangch
hello gogog
hello cat
hel baby
hello andy
hello redis
hel jack

将数据test.data上传到指定的/testdata/sample文件目录下

fs -put test.data /testdata/sample

统计词汇

hadoop jar hadoop-mapreduce-examples-2.4.0.jar wordcount /testdata/sample /testdata/output

去到结果目录

hadoop fs -ls /testdata/output

查看统计结果

    hadoop fs -cat /testdata/output/part-r-00000

例子2
计算圆周率pi

hadoop jar hadoop-mapreduce-examples-2.4.0.jar pi 5 5