hadoop集群测试

最新推荐文章于 2022-08-27 20:57:05 发布
最新推荐文章于 2022-08-27 20:57:05 发布
阅读量133 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lucklyming/article/details/84457393
版权

        Hadoop集群安装好后，可以测试hadoop的基本功能。hadoop自带了一个jar包（hadoop-examples-0.20.205.0.jar，不同版本最后不同）中wordcount程序可以测试统计单词的个数，先来体验一下再说。

 

  1. [hadoop@master ~]$ mkdir input  #先创建一个输入目录  
  2. [hadoop@master ~]$ cd input/  
  3. [hadoop@master input]$ echo "hello world">text1.txt  #将要输入的文件放到该目录  
  4. [hadoop@master input]$ echo "hello hadoop">text2.txt  
  5. [hadoop@master input]$ ls  
  6. text1.txt  text2.txt  
  7. [hadoop@master input]$ cat text1.txt   
  8. hello world  
  9. [hadoop@master input]$ cat text2.txt   
  10. hello hadoop  
  11. [hadoop@master input]$ cd ..  
  12. [hadoop@master ~]$ ls  
  13. input  log  公共的  模板  视频  图片  文档  下载  新文件~  音乐  桌面  
  14. [hadoop@master ~]$ /usr/bin/hadoop dfs -put ./input in  #将input目录中的两个文件放到hdfs中  
  15. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls ./in/*   #查看hdfs中的两个文件  
  16. -rw-r--r--   2 hadoop supergroup         12 2012-09-13 16:16 /user/hadoop/in/text1.txt  
  17. -rw-r--r--   2 hadoop supergroup         13 2012-09-13 16:16 /user/hadoop/in/text2.txt  
  18. #运行hadoop自带的一个jar包中的wordcount程序，这个程序统计单词的出现次数  
  19. #程序的输入是in这个目录中的两个文件，结果输出到out目录  
  20. [hadoop@master ~]$ /usr/bin/hadoop jar /usr/hadoop-examples-0.20.205.0.jar wordcount in out  
  21. 12/09/13 16:20:32 INFO input.FileInputFormat: Total input paths to process : 2  
  22. 12/09/13 16:20:36 INFO mapred.JobClient: Running job: job_201209131425_0001  
  23. 12/09/13 16:20:37 INFO mapred.JobClient:  map 0% reduce 0%  
  24. 12/09/13 16:23:38 INFO mapred.JobClient:  map 50% reduce 0%  
  25. 12/09/13 16:24:31 INFO mapred.JobClient:  map 100% reduce 16%  
  26. 12/09/13 16:24:40 INFO mapred.JobClient:  map 100% reduce 100%  
  27. 12/09/13 16:24:45 INFO mapred.JobClient: Job complete: job_201209131425_0001  
  28. 12/09/13 16:24:45 INFO mapred.JobClient: Counters: 29  
  29. 12/09/13 16:24:45 INFO mapred.JobClient:   Job Counters   
  30. 12/09/13 16:24:45 INFO mapred.JobClient:     Launched reduce tasks=1  
  31. 12/09/13 16:24:45 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=230205  
  32. 12/09/13 16:24:45 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0  
  33. 12/09/13 16:24:45 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0  
  34. 12/09/13 16:24:45 INFO mapred.JobClient:     Launched map tasks=3  
  35. 12/09/13 16:24:45 INFO mapred.JobClient:     Data-local map tasks=3  
  36. 12/09/13 16:24:45 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=58667  
  37. 12/09/13 16:24:45 INFO mapred.JobClient:   File Output Format Counters   
  38. 12/09/13 16:24:45 INFO mapred.JobClient:     Bytes Written=25  
  39. 12/09/13 16:24:45 INFO mapred.JobClient:   FileSystemCounters  
  40. 12/09/13 16:24:45 INFO mapred.JobClient:     FILE_BYTES_READ=55  
  41. 12/09/13 16:24:45 INFO mapred.JobClient:     HDFS_BYTES_READ=241  
  42. 12/09/13 16:24:45 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=64354  
  43. 12/09/13 16:24:45 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=25  
  44. 12/09/13 16:24:45 INFO mapred.JobClient:   File Input Format Counters   
  45. 12/09/13 16:24:45 INFO mapred.JobClient:     Bytes Read=25  
  46. 12/09/13 16:24:45 INFO mapred.JobClient:   Map-Reduce Framework  
  47. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output materialized bytes=61  
  48. 12/09/13 16:24:45 INFO mapred.JobClient:     Map input records=2  
  49. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce shuffle bytes=61  
  50. 12/09/13 16:24:45 INFO mapred.JobClient:     Spilled Records=8  
  51. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output bytes=41  
  52. 12/09/13 16:24:45 INFO mapred.JobClient:     CPU time spent (ms)=13840  
  53. 12/09/13 16:24:45 INFO mapred.JobClient:     Total committed heap usage (bytes)=319361024  
  54. 12/09/13 16:24:45 INFO mapred.JobClient:     Combine input records=4  
  55. 12/09/13 16:24:45 INFO mapred.JobClient:     SPLIT_RAW_BYTES=216  
  56. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce input records=4  
  57. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce input groups=3  
  58. 12/09/13 16:24:45 INFO mapred.JobClient:     Combine output records=4  
  59. 12/09/13 16:24:45 INFO mapred.JobClient:     Physical memory (bytes) snapshot=329932800  
  60. 12/09/13 16:24:45 INFO mapred.JobClient:     Reduce output records=3  
  61. 12/09/13 16:24:45 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=1133260800  
  62. 12/09/13 16:24:45 INFO mapred.JobClient:     Map output records=4  
  63. #运行完成后，可以看到多了一个out目录，注意hdfs中没有当前目录的概念，也不能使用cd命令  
  64. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls  
  65. Found 2 items  
  66. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:16 /user/hadoop/in  
  67. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:24 /user/hadoop/out  
  68. [hadoop@master ~]$ /usr/bin/hadoop dfs -ls ./out    #进入到out目录  
  69. Found 3 items  
  70. -rw-r--r--   2 hadoop supergroup          0 2012-09-13 16:24 /user/hadoop/out/_SUCCESS  
  71. drwxr-xr-x   - hadoop supergroup          0 2012-09-13 16:20 /user/hadoop/out/_logs  
  72. -rw-r--r--   2 hadoop supergroup         25 2012-09-13 16:24 /user/hadoop/out/part-r-00000  
  73. [hadoop@master ~]$ /usr/bin/hadoop dfs -cat ./out/part-r-00000  #查看结果  
  74. hadoop  1  
  75. hello   2  
  76. world   1  
  77. [hadoop@master ~]$  
lucklyming
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop集群测试
Python_XTyyds的博客
12-12 686
Hadoop集群测试
学习Hadoop第二十一课（Hadoop集群测试）
u012453843的专栏
10-26 1742
上节课我们一起学习了怎样搭建一个6台设备的Hadoop集群，这节课我们一起来学习一下怎样测试我们搭建的集群是否有问题。 第一步：启动Zookeeper 我们启动HDFS之前一定要先启动Zookeeper，否则DFSZKFailoverController这个进程将无法正常启动。 我们分别在itcast04、itcast05、itcast06上启动zookeeper [root@itcast
Hadoop之集群测试
柳小葱的博客
04-25 909
搭建好环境之后，我们需要上传文件，进行测试。 目录1. HDFS文件测试1.1上传小文件1.2上传大文件2. YARN文件测试 1. HDFS文件测试 1.1上传小文件 就会生成一个文件夹。 hadoop fs -mkdir /wcinput 我们往里面传一个小文件(自己创建的一个文本) hadoop fs -put test01/RNG.txt /wcinput 我们再点开看一下：果然是有内容的。还可以点Download下载下来。 1.2上传大文件 上传一个java的JDK压缩包到wcinput
Hadoop集群测试报告.pdf
01-18
### Hadoop集群测试报告知识点详解 #### 一、集群设置 **1. 服务器配置** - **CPU**: 每台服务器配置了24个核心，这意味着每台服务器具有较高的并行处理能力，适合进行大规模的数据处理任务。 - **内存**: 128GB...
Hadoop集群测试报告
08-20
Hadoop集群测试报告
hadoop--群起集群并测试
weixin_46361294的博客
02-28 314
Hadoop集群基本测试
asbz123456的专栏
01-26 465
基准测试        安装教程中的提示，利用hadoop自带的测试程序进行。        集群开始运行后，先给用户增加权限： mnclab@lmn:~$ hadoop fs -chown mnclab:mnclab /user/mnclab        同时给用户设置hadoop的目录空间设置限制： mnclab@lmn:~$ hadoop dfsadmin -setSpaceQu
Hadoop群起集群并测试
qq_57778772的博客
07-19 749
Hadoop群起集群并测试
Hadoop 群起集群并进行基本测试
lesileqin的博客
04-03 1723
文章目录一、群起集群1、配置workers2、启动集群1）初始化2）启动HDFS3）启动YARN4）在web端查看HDFS的NameNode http://hadoop102:98705）在web端查看YARN的ResourceManagerhttp://hadoop103:8088二、基本测试1、上传文件到集群2、文件的存储位置3、下载4、执行wordcount程序 一、群起集群 1、配置workers 在hadoop102中编辑文件 vim /opt/module/hadoop-3.1.3/etc/h
hadoop入门（六）：集群测试
全栈川川
08-27 851
Haddop集群测试
三、Hadoop系统应用之Hadoop集群测试及初体验（超详细步骤指导操作，WIN10，VMware Workstation 15.5 PRO，CentOS-6.7）
weixin_42051846的博客
07-08 3777
Hadoop系统应用实验之Hadoop集群测试及初体验，初体验实验为词频统计，WIN10系统，虚拟机软件VMware Workstation 15.5 PRO，Linux版本CentOS-6.7，超详细步骤配图详解，对新手友好。
Hadoop 集群的基准测试
hmilyzhangl的专栏
11-18 113
(转)测试环境： 12 个节点，每个节点的物理机配置为双核 CPU ，主频 2.60Hz, 内存 3G ，硬盘 250G ，网络带宽 100Mbps 以太网，虚拟机 VMware workstation 7.1.0 build-261024 ，平台 RHEL5.5 ，内核版本 2.6.18 ，，虚拟机配置为单核 CP...
Hadoop集群部署及简单测试
云来山更佳，云去山如画
04-23 4517
本文讲述Hadoop集群的部署及简单的测试
Hadoop集群搭建及wordcount测试
czliuming的博客
05-05 5952
1. hadoop三种安装模式 单机模式 无需运行任何守护进程（daemon），所有程序都在单个JVM上执行。由于在本机模式下测试和调试MapReduce程序较为方便，因此，这种模式适宜用在开发阶段。 伪分布式模式 Hadoop守护进程运行在本地机器上，模拟一个小规模的集群。 完全分布式模式 Hadoop运行在一个真实的集群中，本文以hadoop-2.6.3为例讲解此模式配置。 2. hado
hadoop集群测试（单词计数）
宁静而致远
09-13 3443
Hadoop集群安装好后，可以测试hadoop的基本功能。hadoop自带了一个jar包（hadoop-examples-0.20.205.0.jar，不同版本最后不同）中wordcount程序可以测试统计单词的个数，先来体验一下再说。 [hadoop@master ~]$ mkdir input #先创建一个输入目录 [hadoop@master ~]$ cd input/ [hadoop
hadoop集群测试wordcount
最新发布
04-09
Hadoop集群测试WordCount是一种测试Hadoop集群性能的方法，它能够对大量的文本数据进行统计，并计算单词出现的次数。通过对Hadoop集群的WordCount测试，可以评估集群的处理速度、存储能力、扩展性和可靠性等方面的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值