集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

转载 2015年07月07日 20:18:04
<iframe id="cproIframe_u1728839_3" width="120" height="240" src="http://pos.baidu.com/acom?adn=4&amp;at=160&amp;aurl=&amp;cad=1&amp;ccd=24&amp;cec=GBK&amp;cfv=17&amp;ch=0&amp;col=zh-CN&amp;conOP=0&amp;cpa=1&amp;dai=3&amp;dis=0&amp;layout_filter=rank%2Cimage&amp;ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DSVVSALQUitZkyr2KOJ-7aYo-rb-oTgd9zeJZRbTiammX6RMkeJI2NcC6EdB__gUnmSwaOf2uKaZtTAJbgBvBfa%26wd%3D%26eqid%3Df82f7f3500005fa200000003559bc2d4&amp;ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-6777-1-1.html&amp;lunum=6&amp;n=92051019_cpr&amp;pcs=1920x989&amp;pis=10000x10000&amp;ps=604x1419&amp;psr=1920x1080&amp;pss=1920x770&amp;qn=2a0d408e3eef70b1&amp;rad=&amp;rsi0=120&amp;rsi1=240&amp;rsi5=4&amp;rss0=%23FFFFFF&amp;rss1=%23FFFFFF&amp;rss2=%230000ff&amp;rss3=%23444444&amp;rss4=%23008000&amp;rss5=&amp;rss6=%23e10900&amp;rss7=&amp;scale=&amp;skin=tabcloud_skin_3&amp;stid=5&amp;td_id=1728839&amp;tn=text_default_120_240&amp;tpr=1436271323424&amp;ts=1&amp;version=2.0&amp;xuanting=0&amp;dtm=BAIDU_DUP2_SETJSONADSLOT&amp;dc=2&amp;di=u1728839&amp;ti=%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85%E5%AE%8C%E6%AF%95%EF%BC%8C%E8%AF%A5%E5%A6%82%E4%BD%95%E6%B5%8B%E8%AF%95%E5%92%8C%E4%BD%BF%E7%94%A8%E9%9B%86%E7%BE%A4-hadoop%E5%8D%95%E6%9C%BA%EF%BC%88%E4%BC%AA%E5%88%86%E5%B8%83%EF%BC%89-%E5%A4%A7%E6%95%B0%E6%8D%AE%EF%BC%88hadoop%E7%B3%BB%E5%88%97%EF%BC%89%E5%AD%A6%E4%B9%A0-about%E4%BA%91%E5%BC%80%E5%8F%91&amp;tt=1436271323414.124.142.143" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="word-wrap: break-word;"></iframe>
本帖最后由 pig2 于 2014-2-8 22:56 编辑http://www.aboutyun.com/thread-6777-1-1.html

集群安装完毕,该如何测试和使用集群:

运行hadoop首先进入hadoop所在目录,第一次执行要格式化文件系统bin/hadoop namenode –format 
启动bin/start-all.sh 
用jps命令查看进程,显示:
root@ubuntu:/usr/hadoop/hadoop-1# jps
6449 DataNode
6998 TaskTracker
33851 Jps
6200 NameNode
6765 JobTracker
6683 SecondaryNameNode


少一个都不对
还有就是使用web接口访问

http://localhost:50030 
可以查看JobTracker的运行状态

       


http://localhost:50060 
可以查看TaskTracker的运行状态

  
       


http://localhost:50070 
        
可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。









运行测试实例wordcount
注意:1.注意wordcount大小写,这里都是小写
         2.复制命令可能会出现命令不识别,尽量手写
copyFromLocal: Unknown command
Usage: java FsShell
           [-ls <path>]
      .......
           [-help [cmd]]



这里使用附带jar包里的wordcount
(1)先在本地磁盘建立两个输入文件file01 和 file02: 
$ echo "Hello World Bye World" > file01  
$ echo "Hello Hadoop Goodbye Hadoop" > file02
(2)在hdfs 中建立一个input目录:
$ hadoop fs –mkdir input 
(3)将file01 和 file02 拷贝到hdfs中:  
$ hadoop fs –copyFromLocal file0* input 
(4)执行wordcount:  
$ hadoop jar hadoop-examples-1.2.0.jar wordcount input output
(5)完成之后,查看结果:
$ bin/hadoop fs -ls . 查看已有的文件列表
$ hadoop fs -cat output/part-r-00000  查看结果
结果为:可见把单词都统计了
Bye 1  
Goodbye 1 
Hadoop 2 
Hello 2 
World 2  

hadoop 2.6.4 伪分布集群搭建

想要体验一下的强大功能,手头的资源各种受限,无奈只能配置个伪分布的自己耍耍,不过对于学习简单地使用hadoop还是没有问题的。下面列出操作的步骤: ps: 本操作都是在root用户下进行的1. 安装...
  • jack_nichao
  • jack_nichao
  • 2016年06月28日 10:42
  • 452

zookeeper手把手搭建伪分布集群环境

很多初学hbase、hive、kafka等hadoop生态圈的分布式组件的同仁都会面临在本地搭建zookeeper集群的情况,但是鉴于本地机器环境不满足多节点安装的时候,一个很好的替换措施就是本地搭建...
  • ahzsg1314
  • ahzsg1314
  • 2016年09月05日 10:27
  • 1230

Hadoop单机、伪分布式集群搭建(十分详细)

要搭建Hadoop HA集群请戳这 今天终于把老师布置的项目做完了,闲来无事在机房的电脑上装了Ubuntu(用EasyBCD步骤非常简单,请自行百度),上学期在虚拟机上装了Hadoop,现在可以在实...
  • Dr_Guo
  • Dr_Guo
  • 2016年11月25日 17:15
  • 9742

HBase安装配置之伪分布式模式

HBase安装模式有三种:单机模式、分布式(伪分布式和完全分布式)。本教程介绍了HBase的伪分布式模式安装配置的过程,伪分布式模式是把进程运行在一台机器上,但不是同一个JVM(单机模式),分布式模式...
  • pdw2009
  • pdw2009
  • 2014年03月15日 00:42
  • 15923

Mac环境下安装Hadoop伪分布模式

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。这里讲述在Mac上安装Hadoop伪分布模式的过程。环境:Mac OS X 10.11 + Hadoop-2.6.51 下载官网下载H...
  • u010429286
  • u010429286
  • 2017年04月11日 15:16
  • 439

Zookeeper伪分布集群搭建及简单使用演示

按理说zookeeper至少要有三台主机才能玩,奈何我没用虚拟机也没有那么多主机,只能用伪分布式玩玩了。...
  • Dr_Guo
  • Dr_Guo
  • 2016年03月20日 19:37
  • 1222

centos6.8平台上安装hive(基于Mysql6.5 和hadoop2.7.3伪分布集群下)

一、安装JDK 解压jdk-8u111-linux-x64.tar.gz 重命名文件夹 mv /opt/j dk-8u111 /usr/java 配置环境变量 使环境变量生效 二、mys...
  • lanoucongling
  • lanoucongling
  • 2016年12月28日 19:50
  • 648

storm单机伪分布详细

storm单机伪分布详细
  • sky007rain
  • sky007rain
  • 2016年04月05日 08:57
  • 740

二、hadoop伪分布搭建

Ubuntu14.04安装hadoop2.6伪分布环境
  • Gamer_gyt
  • Gamer_gyt
  • 2015年07月07日 20:14
  • 3271

Hadoop-2.5.0-cdh5.3.2 搭建单机伪分布

搭建环境介绍 系统为 Centos6.5 (影响不大) JDK 为open-jdk-1.7.0_45 在 hadoop 用户权限下完成 IP 地址为 10.6.2.102 hadoop 软件压缩包位于...
  • u011414200
  • u011414200
  • 2015年10月19日 09:37
  • 1703
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)
举报原因:
原因补充:

(最多只允许输入30个字)