集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

<iframe id="cproIframe_u1728839_3" width="120" height="240" src="http://pos.baidu.com/acom?adn=4&amp;at=160&amp;aurl=&amp;cad=1&amp;ccd=24&amp;cec=GBK&amp;cfv=17&amp;ch=0&amp;col=zh-CN&amp;conOP=0&amp;cpa=1&amp;dai=3&amp;dis=0&amp;layout_filter=rank%2Cimage&amp;ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DSVVSALQUitZkyr2KOJ-7aYo-rb-oTgd9zeJZRbTiammX6RMkeJI2NcC6EdB__gUnmSwaOf2uKaZtTAJbgBvBfa%26wd%3D%26eqid%3Df82f7f3500005fa200000003559bc2d4&amp;ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-6777-1-1.html&amp;lunum=6&amp;n=92051019_cpr&amp;pcs=1920x989&amp;pis=10000x10000&amp;ps=604x1419&amp;psr=1920x1080&amp;pss=1920x770&amp;qn=2a0d408e3eef70b1&amp;rad=&amp;rsi0=120&amp;rsi1=240&amp;rsi5=4&amp;rss0=%23FFFFFF&amp;rss1=%23FFFFFF&amp;rss2=%230000ff&amp;rss3=%23444444&amp;rss4=%23008000&amp;rss5=&amp;rss6=%23e10900&amp;rss7=&amp;scale=&amp;skin=tabcloud_skin_3&amp;stid=5&amp;td_id=1728839&amp;tn=text_default_120_240&amp;tpr=1436271323424&amp;ts=1&amp;version=2.0&amp;xuanting=0&amp;dtm=BAIDU_DUP2_SETJSONADSLOT&amp;dc=2&amp;di=u1728839&amp;ti=%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85%E5%AE%8C%E6%AF%95%EF%BC%8C%E8%AF%A5%E5%A6%82%E4%BD%95%E6%B5%8B%E8%AF%95%E5%92%8C%E4%BD%BF%E7%94%A8%E9%9B%86%E7%BE%A4-hadoop%E5%8D%95%E6%9C%BA%EF%BC%88%E4%BC%AA%E5%88%86%E5%B8%83%EF%BC%89-%E5%A4%A7%E6%95%B0%E6%8D%AE%EF%BC%88hadoop%E7%B3%BB%E5%88%97%EF%BC%89%E5%AD%A6%E4%B9%A0-about%E4%BA%91%E5%BC%80%E5%8F%91&amp;tt=1436271323414.124.142.143" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="word-wrap: break-word;"></iframe>
本帖最后由 pig2 于 2014-2-8 22:56 编辑http://www.aboutyun.com/thread-6777-1-1.html

集群安装完毕,该如何测试和使用集群:

运行hadoop首先进入hadoop所在目录,第一次执行要格式化文件系统bin/hadoop namenode –format 
启动bin/start-all.sh 
用jps命令查看进程,显示:
root@ubuntu:/usr/hadoop/hadoop-1# jps
6449 DataNode
6998 TaskTracker
33851 Jps
6200 NameNode
6765 JobTracker
6683 SecondaryNameNode


少一个都不对
还有就是使用web接口访问

http://localhost:50030 
可以查看JobTracker的运行状态

       


http://localhost:50060 
可以查看TaskTracker的运行状态

  
       


http://localhost:50070 
        
可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。









运行测试实例wordcount
注意:1.注意wordcount大小写,这里都是小写
         2.复制命令可能会出现命令不识别,尽量手写
copyFromLocal: Unknown command
Usage: java FsShell
           [-ls <path>]
      .......
           [-help [cmd]]



这里使用附带jar包里的wordcount
(1)先在本地磁盘建立两个输入文件file01 和 file02: 
$ echo "Hello World Bye World" > file01  
$ echo "Hello Hadoop Goodbye Hadoop" > file02
(2)在hdfs 中建立一个input目录:
$ hadoop fs –mkdir input 
(3)将file01 和 file02 拷贝到hdfs中:  
$ hadoop fs –copyFromLocal file0* input 
(4)执行wordcount:  
$ hadoop jar hadoop-examples-1.2.0.jar wordcount input output
(5)完成之后,查看结果:
$ bin/hadoop fs -ls . 查看已有的文件列表
$ hadoop fs -cat output/part-r-00000  查看结果
结果为:可见把单词都统计了
Bye 1  
Goodbye 1 
Hadoop 2 
Hello 2 
World 2  
阅读更多
个人分类: Hadoop
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭