集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

转载 2015年07月07日 20:18:04
<iframe id="cproIframe_u1728839_3" width="120" height="240" src="http://pos.baidu.com/acom?adn=4&amp;at=160&amp;aurl=&amp;cad=1&amp;ccd=24&amp;cec=GBK&amp;cfv=17&amp;ch=0&amp;col=zh-CN&amp;conOP=0&amp;cpa=1&amp;dai=3&amp;dis=0&amp;layout_filter=rank%2Cimage&amp;ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DSVVSALQUitZkyr2KOJ-7aYo-rb-oTgd9zeJZRbTiammX6RMkeJI2NcC6EdB__gUnmSwaOf2uKaZtTAJbgBvBfa%26wd%3D%26eqid%3Df82f7f3500005fa200000003559bc2d4&amp;ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-6777-1-1.html&amp;lunum=6&amp;n=92051019_cpr&amp;pcs=1920x989&amp;pis=10000x10000&amp;ps=604x1419&amp;psr=1920x1080&amp;pss=1920x770&amp;qn=2a0d408e3eef70b1&amp;rad=&amp;rsi0=120&amp;rsi1=240&amp;rsi5=4&amp;rss0=%23FFFFFF&amp;rss1=%23FFFFFF&amp;rss2=%230000ff&amp;rss3=%23444444&amp;rss4=%23008000&amp;rss5=&amp;rss6=%23e10900&amp;rss7=&amp;scale=&amp;skin=tabcloud_skin_3&amp;stid=5&amp;td_id=1728839&amp;tn=text_default_120_240&amp;tpr=1436271323424&amp;ts=1&amp;version=2.0&amp;xuanting=0&amp;dtm=BAIDU_DUP2_SETJSONADSLOT&amp;dc=2&amp;di=u1728839&amp;ti=%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85%E5%AE%8C%E6%AF%95%EF%BC%8C%E8%AF%A5%E5%A6%82%E4%BD%95%E6%B5%8B%E8%AF%95%E5%92%8C%E4%BD%BF%E7%94%A8%E9%9B%86%E7%BE%A4-hadoop%E5%8D%95%E6%9C%BA%EF%BC%88%E4%BC%AA%E5%88%86%E5%B8%83%EF%BC%89-%E5%A4%A7%E6%95%B0%E6%8D%AE%EF%BC%88hadoop%E7%B3%BB%E5%88%97%EF%BC%89%E5%AD%A6%E4%B9%A0-about%E4%BA%91%E5%BC%80%E5%8F%91&amp;tt=1436271323414.124.142.143" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="word-wrap: break-word;"></iframe>
本帖最后由 pig2 于 2014-2-8 22:56 编辑http://www.aboutyun.com/thread-6777-1-1.html

集群安装完毕,该如何测试和使用集群:

运行hadoop首先进入hadoop所在目录,第一次执行要格式化文件系统bin/hadoop namenode –format 
启动bin/start-all.sh 
用jps命令查看进程,显示:
root@ubuntu:/usr/hadoop/hadoop-1# jps
6449 DataNode
6998 TaskTracker
33851 Jps
6200 NameNode
6765 JobTracker
6683 SecondaryNameNode


少一个都不对
还有就是使用web接口访问

http://localhost:50030 
可以查看JobTracker的运行状态

       


http://localhost:50060 
可以查看TaskTracker的运行状态

  
       


http://localhost:50070 
        
可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。









运行测试实例wordcount
注意:1.注意wordcount大小写,这里都是小写
         2.复制命令可能会出现命令不识别,尽量手写
copyFromLocal: Unknown command
Usage: java FsShell
           [-ls <path>]
      .......
           [-help [cmd]]



这里使用附带jar包里的wordcount
(1)先在本地磁盘建立两个输入文件file01 和 file02: 
$ echo "Hello World Bye World" > file01  
$ echo "Hello Hadoop Goodbye Hadoop" > file02
(2)在hdfs 中建立一个input目录:
$ hadoop fs –mkdir input 
(3)将file01 和 file02 拷贝到hdfs中:  
$ hadoop fs –copyFromLocal file0* input 
(4)执行wordcount:  
$ hadoop jar hadoop-examples-1.2.0.jar wordcount input output
(5)完成之后,查看结果:
$ bin/hadoop fs -ls . 查看已有的文件列表
$ hadoop fs -cat output/part-r-00000  查看结果
结果为:可见把单词都统计了
Bye 1  
Goodbye 1 
Hadoop 2 
Hello 2 
World 2  

相关文章推荐

云计算基础(二):Hadoop单机、伪分布、集群配置

Linux机器分布式配置、SSH配置、公用/私有密钥配置; Hadoop单机配置; Hadoop伪分布式集群配置; Hadoop集群配置; 基准程序评估Hadoop集群性能 1、...

hadoop1.2.1在linux中配置安装独立运行Standalone Operation,伪分布Pseudo-Distributed Operation,集群配置三种配置和测试

1:安装sun jdk 我此处用的另一篇文章中的命令,但是安装的貌似是OPenJDK,老师要求不能安装这个一定要是sunjdk,否则后面会后问题,我决定后面有问题时我再改。而且此处我安装后...

用Linux Container在单机上部署完全分布式的Hadoop集群

在Hadoop开发和学习过程中,经常需要部署一个完全分布式的Hadoop集群。而目前在单机上用得最多的方法就是用Vmware建虚拟机,不过一般的机器开3-4个虚拟机就差不多了。如果想在单机上(而且是虚...
  • jewes
  • jewes
  • 2014年03月24日 23:25
  • 3868

单机搭建hadoop伪集群

  • 2016年02月14日 09:17
  • 362KB
  • 下载

Hadoop之旅(1)—单机与伪集群安装、简单经典案例

Hadoop 2.0安装部署流程 Hadoop 2.0测试环境(单机)搭建方法 Hadoop 简单案例(经典案例-统计单词的数次) MapReduce , HDFS、 YARN 搭建配置(经典案例-统...

hadoop 单机、伪分布式及集群下的运行测试总结

最近老师叫找几个并行框架来测试一下,想用于分布式图像渲染。 之前了解过google的GFS和mapreduce,然后听说hadoop不错,试着用了一下。 我使用的是hadoop0.20.2...

centos6.8平台上安装hive(基于Mysql6.5 和hadoop2.7.3伪分布集群下)

一、安装JDK 解压jdk-8u111-linux-x64.tar.gz 重命名文件夹 mv /opt/j dk-8u111 /usr/java 配置环境变量 使环境变量生效 二、mys...

Hadoop伪分布集群安装

最近研究了一下hadoop集群,在此做个总结,在一台虚拟机中模拟集群环境,废话少说,进入正题,虚拟机中装linux就不说了 1、使用root用户登陆,配置环境,选VMnet1网卡,Host-Only...
  • zqs111
  • zqs111
  • 2015年12月13日 12:34
  • 232

hadoop安装部署(伪分布及集群)

hadoop安装部署(伪分布及集群)@(HADOOP)[hadoop]hadoop安装部署伪分布及集群 第一部分伪分布式 一环境准备 二安装hdfs 三安装YARN 第二部分集群安装 一规划 一硬件资...

Hadoop2.4编译 伪分布安装 集群安装笔记

Hadoop2.4 HA配置 修订记录Revision record 日期 Date 修订版本 Revision version 描述Descripti...
  • cmdgjw
  • cmdgjw
  • 2014年05月11日 19:53
  • 910
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)
举报原因:
原因补充:

(最多只允许输入30个字)