关闭

hadoop集群测试

312人阅读 评论(0) 收藏 举报
分类:

        Hadoop集群安装好后,可以测试hadoop的基本功能。hadoop自带了一个jar包(hadoop-examples-0.20.205.0.jar,不同版本最后不同)中wordcount程序可以测试统计单词的个数,先来体验一下再说。

 

  1. [hadoop@master ~]$ mkdir input  #先创建一个输入目录  
  2. [hadoop@master ~]$ cd input/  
  3. [hadoop@master input]$ echo "hello world">text1.txt  #将要输入的文件放到该目录  
  4. [hadoop@master input]$ echo "hello hadoop">text2.txt  
  5. [hadoop@master input]$ ls  
  6. text1.txt  text2.txt  
  7. [hadoop@master input]$ cat text1.txt   
  8. hello world  
  9. [hadoop@master input]$ cat text2.txt   
  10. hello hadoop  
  11. [hadoop@master input]$ cd ..  
  12. [hadoop@master ~]$ ls  
  13. input  log  公共的  模板  视频  图片  文档  下载  新文件~  音乐  桌面  
  14. [hadoop@master ~]$ /usr/bin/hadoop dfs -put ./input in  #将input目录中的两个文件放到hdfs中  
  15. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls ./in/*   #查看hdfs中的两个文件  
  16. -rw-r--r--   2 hadoop supergroup         12 2012-09-13 16:16 /user/hadoop/in/text1.txt  
  17. -rw-r--r--   2 hadoop supergroup         13 2012-09-13 16:16 /user/hadoop/in/text2.txt  
  18. #运行hadoop自带的一个jar包中的wordcount程序,这个程序统计单词的出现次数  
  19. #程序的输入是in这个目录中的两个文件,结果输出到out目录  
  20. [hadoop@master ~]$ /usr/bin/hadoop jar /usr/hadoop-examples-0.20.205.0.jar wordcount in out  
  21. 12/09/13 16:20:32 INFO input.FileInputFormat: Total input paths to process : 2  
  22. 12/09/13 16:20:36 INFO mapred.JobClient: Running job: job_201209131425_0001  
  23. 12/09/13 16:20:37 INFO mapred.JobClient:  map 0% reduce 0%  
  24. 12/09/13 16:23:38 INFO mapred.JobClient:  map 50% reduce 0%  
  25. 12/09/13 16:24:31 INFO mapred.JobClient:  map 100% reduce 16%  
  26. 12/09/13 16:24:40 INFO mapred.JobClient:  map 100% reduce 100%  
  27. 12/09/13 16:24:45 INFO mapred.JobClient: Job complete: job_201209131425_0001  
  28. 12/09/13 16:24:45 INFO mapred.JobClient: Counters: 29  
  29. 12/09/13 16:24:45 INFO mapred.JobClient:   Job Counters   
  30. 12/09/13 16:24:45 INFO mapred.JobClient:     Launched reduce tasks=1  
  31. 12/09/13 16:24:45 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=230205  
  32. 12/09/13 16:24:45 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  33. 12/09/13 16:24:45 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  34. 12/09/13 16:24:45 INFO mapred.JobClient:     Launched map tasks=3  
  35. 12/09/13 16:24:45 INFO mapred.JobClient:     Data-local map tasks=3  
  36. 12/09/13 16:24:45 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=58667  
  37. 12/09/13 16:24:45 INFO mapred.JobClient:   File Output Format Counters   
  38. 12/09/13 16:24:45 INFO mapred.JobClient:     Bytes Written=25  
  39. 12/09/13 16:24:45 INFO mapred.JobClient:   FileSystemCounters  
  40. 12/09/13 16:24:45 INFO mapred.JobClient:     FILE_BYTES_READ=55  
  41. 12/09/13 16:24:45 INFO mapred.JobClient:     HDFS_BYTES_READ=241  
  42. 12/09/13 16:24:45 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=64354  
  43. 12/09/13 16:24:45 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25  
  44. 12/09/13 16:24:45 INFO mapred.JobClient:   File Input Format Counters   
  45. 12/09/13 16:24:45 INFO mapred.JobClient:     Bytes Read=25  
  46. 12/09/13 16:24:45 INFO mapred.JobClient:   Map-Reduce Framework  
  47. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output materialized bytes=61  
  48. 12/09/13 16:24:45 INFO mapred.JobClient:     Map input records=2  
  49. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce shuffle bytes=61  
  50. 12/09/13 16:24:45 INFO mapred.JobClient:     Spilled Records=8  
  51. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output bytes=41  
  52. 12/09/13 16:24:45 INFO mapred.JobClient:     CPU time spent (ms)=13840  
  53. 12/09/13 16:24:45 INFO mapred.JobClient:     Total committed heap usage (bytes)=319361024  
  54. 12/09/13 16:24:45 INFO mapred.JobClient:     Combine input records=4  
  55. 12/09/13 16:24:45 INFO mapred.JobClient:     SPLIT_RAW_BYTES=216  
  56. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce input records=4  
  57. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce input groups=3  
  58. 12/09/13 16:24:45 INFO mapred.JobClient:     Combine output records=4  
  59. 12/09/13 16:24:45 INFO mapred.JobClient:     Physical memory (bytes) snapshot=329932800  
  60. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce output records=3  
  61. 12/09/13 16:24:45 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1133260800  
  62. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output records=4  
  63. #运行完成后,可以看到多了一个out目录,注意hdfs中没有当前目录的概念,也不能使用cd命令  
  64. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls  
  65. Found 2 items  
  66. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:16 /user/hadoop/in  
  67. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:24 /user/hadoop/out  
  68. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls ./out    #进入到out目录  
  69. Found 3 items  
  70. -rw-r--r--   2 hadoop supergroup          0 2012-09-13 16:24 /user/hadoop/out/_SUCCESS  
  71. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:20 /user/hadoop/out/_logs  
  72. -rw-r--r--   2 hadoop supergroup         25 2012-09-13 16:24 /user/hadoop/out/part-r-00000  
  73. [hadoop@master ~]$ /usr/bin/hadoop dfs -cat ./out/part-r-00000  #查看结果  
  74. hadoop  1  
  75. hello   2  
  76. world   1  
  77. [hadoop@master ~]$  
0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:12668次
    • 积分:512
    • 等级:
    • 排名:千里之外
    • 原创:40篇
    • 转载:1篇
    • 译文:0篇
    • 评论:0条
    文章分类
    文章存档