hadoop集群测试

原创 2013年12月05日 16:07:26

        Hadoop集群安装好后,可以测试hadoop的基本功能。hadoop自带了一个jar包(hadoop-examples-0.20.205.0.jar,不同版本最后不同)中wordcount程序可以测试统计单词的个数,先来体验一下再说。

 

  1. [hadoop@master ~]$ mkdir input  #先创建一个输入目录  
  2. [hadoop@master ~]$ cd input/  
  3. [hadoop@master input]$ echo "hello world">text1.txt  #将要输入的文件放到该目录  
  4. [hadoop@master input]$ echo "hello hadoop">text2.txt  
  5. [hadoop@master input]$ ls  
  6. text1.txt  text2.txt  
  7. [hadoop@master input]$ cat text1.txt   
  8. hello world  
  9. [hadoop@master input]$ cat text2.txt   
  10. hello hadoop  
  11. [hadoop@master input]$ cd ..  
  12. [hadoop@master ~]$ ls  
  13. input  log  公共的  模板  视频  图片  文档  下载  新文件~  音乐  桌面  
  14. [hadoop@master ~]$ /usr/bin/hadoop dfs -put ./input in  #将input目录中的两个文件放到hdfs中  
  15. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls ./in/*   #查看hdfs中的两个文件  
  16. -rw-r--r--   2 hadoop supergroup         12 2012-09-13 16:16 /user/hadoop/in/text1.txt  
  17. -rw-r--r--   2 hadoop supergroup         13 2012-09-13 16:16 /user/hadoop/in/text2.txt  
  18. #运行hadoop自带的一个jar包中的wordcount程序,这个程序统计单词的出现次数  
  19. #程序的输入是in这个目录中的两个文件,结果输出到out目录  
  20. [hadoop@master ~]$ /usr/bin/hadoop jar /usr/hadoop-examples-0.20.205.0.jar wordcount in out  
  21. 12/09/13 16:20:32 INFO input.FileInputFormat: Total input paths to process : 2  
  22. 12/09/13 16:20:36 INFO mapred.JobClient: Running job: job_201209131425_0001  
  23. 12/09/13 16:20:37 INFO mapred.JobClient:  map 0% reduce 0%  
  24. 12/09/13 16:23:38 INFO mapred.JobClient:  map 50% reduce 0%  
  25. 12/09/13 16:24:31 INFO mapred.JobClient:  map 100% reduce 16%  
  26. 12/09/13 16:24:40 INFO mapred.JobClient:  map 100% reduce 100%  
  27. 12/09/13 16:24:45 INFO mapred.JobClient: Job complete: job_201209131425_0001  
  28. 12/09/13 16:24:45 INFO mapred.JobClient: Counters: 29  
  29. 12/09/13 16:24:45 INFO mapred.JobClient:   Job Counters   
  30. 12/09/13 16:24:45 INFO mapred.JobClient:     Launched reduce tasks=1  
  31. 12/09/13 16:24:45 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=230205  
  32. 12/09/13 16:24:45 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  33. 12/09/13 16:24:45 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  34. 12/09/13 16:24:45 INFO mapred.JobClient:     Launched map tasks=3  
  35. 12/09/13 16:24:45 INFO mapred.JobClient:     Data-local map tasks=3  
  36. 12/09/13 16:24:45 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=58667  
  37. 12/09/13 16:24:45 INFO mapred.JobClient:   File Output Format Counters   
  38. 12/09/13 16:24:45 INFO mapred.JobClient:     Bytes Written=25  
  39. 12/09/13 16:24:45 INFO mapred.JobClient:   FileSystemCounters  
  40. 12/09/13 16:24:45 INFO mapred.JobClient:     FILE_BYTES_READ=55  
  41. 12/09/13 16:24:45 INFO mapred.JobClient:     HDFS_BYTES_READ=241  
  42. 12/09/13 16:24:45 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=64354  
  43. 12/09/13 16:24:45 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25  
  44. 12/09/13 16:24:45 INFO mapred.JobClient:   File Input Format Counters   
  45. 12/09/13 16:24:45 INFO mapred.JobClient:     Bytes Read=25  
  46. 12/09/13 16:24:45 INFO mapred.JobClient:   Map-Reduce Framework  
  47. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output materialized bytes=61  
  48. 12/09/13 16:24:45 INFO mapred.JobClient:     Map input records=2  
  49. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce shuffle bytes=61  
  50. 12/09/13 16:24:45 INFO mapred.JobClient:     Spilled Records=8  
  51. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output bytes=41  
  52. 12/09/13 16:24:45 INFO mapred.JobClient:     CPU time spent (ms)=13840  
  53. 12/09/13 16:24:45 INFO mapred.JobClient:     Total committed heap usage (bytes)=319361024  
  54. 12/09/13 16:24:45 INFO mapred.JobClient:     Combine input records=4  
  55. 12/09/13 16:24:45 INFO mapred.JobClient:     SPLIT_RAW_BYTES=216  
  56. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce input records=4  
  57. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce input groups=3  
  58. 12/09/13 16:24:45 INFO mapred.JobClient:     Combine output records=4  
  59. 12/09/13 16:24:45 INFO mapred.JobClient:     Physical memory (bytes) snapshot=329932800  
  60. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce output records=3  
  61. 12/09/13 16:24:45 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1133260800  
  62. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output records=4  
  63. #运行完成后,可以看到多了一个out目录,注意hdfs中没有当前目录的概念,也不能使用cd命令  
  64. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls  
  65. Found 2 items  
  66. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:16 /user/hadoop/in  
  67. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:24 /user/hadoop/out  
  68. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls ./out    #进入到out目录  
  69. Found 3 items  
  70. -rw-r--r--   2 hadoop supergroup          0 2012-09-13 16:24 /user/hadoop/out/_SUCCESS  
  71. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:20 /user/hadoop/out/_logs  
  72. -rw-r--r--   2 hadoop supergroup         25 2012-09-13 16:24 /user/hadoop/out/part-r-00000  
  73. [hadoop@master ~]$ /usr/bin/hadoop dfs -cat ./out/part-r-00000  #查看结果  
  74. hadoop  1  
  75. hello   2  
  76. world   1  
  77. [hadoop@master ~]$  

α测试和β测试区别

α测试       α测试是用户在开发环境下的测试,或者是开发内部的用户在模拟实际环境下的测试;        Alpha 测试(α测试)是由一个用户在开发环境下进行的测试,也可以是公司内部的用户在...
  • u011987219
  • u011987219
  • 2015年10月19日 21:45
  • 4383

单元测试,集成测试,系统测试,验收测试

单元测试                                                   1、什么是单元测试? 单元测试是对程序中的单个子程序、子程序或过程进行测试,也就是说一开始...
  • slforeverlove
  • slforeverlove
  • 2015年07月23日 20:35
  • 3487

功能测试与自动化测试到底谁高级?

转眼出来工作已经4年了,在这4年里主要从事测试工作,今天我想在这里说下目前我对测试行业的一些认识。 其实测试这个职位无非分为功能测试,性能测试,自动化测试以及安全性测试,随着近几年测试的发展,很多公...
  • congzi529163036
  • congzi529163036
  • 2015年04月30日 15:28
  • 1199

怎么样做一个好测试

天下大势,分久必合,合久必分。          世上本没有软件测试工程师,挖的坑多了,自然就需要有人背锅,软件测试工程师应运而生。          说背锅是开个玩笑,但有些锅是不得不接的。比如...
  • kufei123
  • kufei123
  • 2015年08月11日 10:34
  • 1641

静态测试与动态测试

A。什么是静态测试?静态测试包含哪些内容? 静态测试:静态测试是指不运行被测程序本身,通过分析或检查源程序的语法、结构、过程、接口等来检查程序的正确性。其被测对象是各种与软件相关的有必要进行测试的产...
  • dancing_youh
  • dancing_youh
  • 2015年09月19日 13:16
  • 4182

集成测试基本内容概述

1、概述若每个模块都经过了严格的单元测试,还需要继承测试吗?人们常常会提出这样的疑问。回答是肯定的,确实需要集成测试。在测试过程中经常遇到的情况是:单元测试中每个模块都能单独工作,但是将这些模块集成到...
  • u012848631
  • u012848631
  • 2015年06月12日 09:51
  • 2398

软件测试种类(一):包括功能性测试,可靠性测试,强度测试等

软件测试种类(一)   软件测试是由一系列不同的测试组成,主要目的是对以计算机为基础的系统进行充分的测试。   功能测试   功能测试是在规定的一段时间内运行软件系统的所有功能,以验证这个...
  • Li__YingYing
  • Li__YingYing
  • 2014年07月21日 17:51
  • 2467

软件测试——负载,压力,容量和性能测试的联系和区别?

最近,在总结系统测试类型的过程中,对“负载测试、压力测试、容量测试、性能测试”这几个测试类型有些分不清界限,上网查了一些资料,汇总如下:   1.负载测试(Load testing):        ...
  • haiyan_cf
  • haiyan_cf
  • 2014年08月31日 10:36
  • 3809

安全测试、渗透测试的理解

安全测试是侧重于应用程序所面对对安全威胁而进行的有关验证应用程序的安全服务和识别潜在安全性缺陷的过程。目的并不最终证明应用程序是安全的,而是用于验证存在哪些安全漏洞,来确保应用程序的安全。 渗透...
  • Joy0709
  • Joy0709
  • 2015年03月10日 11:44
  • 835

如何进行安全性测试?

1.功能验证   功能验证是采用软件测试当中的黑盒测试方法,对涉及安全的软件功能,如:用户管理模块,权限管理模块,加密系统,认证系统等进行测试,主要验证上述功能是否有效,具体方法可使用黑盒测试方法。...
  • Joy0709
  • Joy0709
  • 2014年12月11日 23:24
  • 1929
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop集群测试
举报原因:
原因补充:

(最多只允许输入30个字)