集群安装完毕,该如何测试和使用集群-hadoop单机(伪分布)

转载 2015年07月07日 20:18:04
<iframe id="cproIframe_u1728839_3" width="120" height="240" src="http://pos.baidu.com/acom?adn=4&amp;at=160&amp;aurl=&amp;cad=1&amp;ccd=24&amp;cec=GBK&amp;cfv=17&amp;ch=0&amp;col=zh-CN&amp;conOP=0&amp;cpa=1&amp;dai=3&amp;dis=0&amp;layout_filter=rank%2Cimage&amp;ltr=https%3A%2F%2Fwww.baidu.com%2Flink%3Furl%3DSVVSALQUitZkyr2KOJ-7aYo-rb-oTgd9zeJZRbTiammX6RMkeJI2NcC6EdB__gUnmSwaOf2uKaZtTAJbgBvBfa%26wd%3D%26eqid%3Df82f7f3500005fa200000003559bc2d4&amp;ltu=http%3A%2F%2Fwww.aboutyun.com%2Fthread-6777-1-1.html&amp;lunum=6&amp;n=92051019_cpr&amp;pcs=1920x989&amp;pis=10000x10000&amp;ps=604x1419&amp;psr=1920x1080&amp;pss=1920x770&amp;qn=2a0d408e3eef70b1&amp;rad=&amp;rsi0=120&amp;rsi1=240&amp;rsi5=4&amp;rss0=%23FFFFFF&amp;rss1=%23FFFFFF&amp;rss2=%230000ff&amp;rss3=%23444444&amp;rss4=%23008000&amp;rss5=&amp;rss6=%23e10900&amp;rss7=&amp;scale=&amp;skin=tabcloud_skin_3&amp;stid=5&amp;td_id=1728839&amp;tn=text_default_120_240&amp;tpr=1436271323424&amp;ts=1&amp;version=2.0&amp;xuanting=0&amp;dtm=BAIDU_DUP2_SETJSONADSLOT&amp;dc=2&amp;di=u1728839&amp;ti=%E9%9B%86%E7%BE%A4%E5%AE%89%E8%A3%85%E5%AE%8C%E6%AF%95%EF%BC%8C%E8%AF%A5%E5%A6%82%E4%BD%95%E6%B5%8B%E8%AF%95%E5%92%8C%E4%BD%BF%E7%94%A8%E9%9B%86%E7%BE%A4-hadoop%E5%8D%95%E6%9C%BA%EF%BC%88%E4%BC%AA%E5%88%86%E5%B8%83%EF%BC%89-%E5%A4%A7%E6%95%B0%E6%8D%AE%EF%BC%88hadoop%E7%B3%BB%E5%88%97%EF%BC%89%E5%AD%A6%E4%B9%A0-about%E4%BA%91%E5%BC%80%E5%8F%91&amp;tt=1436271323414.124.142.143" align="center,center" marginwidth="0" marginheight="0" scrolling="no" frameborder="0" allowtransparency="true" style="word-wrap: break-word;"></iframe>
本帖最后由 pig2 于 2014-2-8 22:56 编辑http://www.aboutyun.com/thread-6777-1-1.html

集群安装完毕,该如何测试和使用集群:

运行hadoop首先进入hadoop所在目录,第一次执行要格式化文件系统bin/hadoop namenode –format 
启动bin/start-all.sh 
用jps命令查看进程,显示:
root@ubuntu:/usr/hadoop/hadoop-1# jps
6449 DataNode
6998 TaskTracker
33851 Jps
6200 NameNode
6765 JobTracker
6683 SecondaryNameNode


少一个都不对
还有就是使用web接口访问

http://localhost:50030 
可以查看JobTracker的运行状态

       


http://localhost:50060 
可以查看TaskTracker的运行状态

  
       


http://localhost:50070 
        
可以查看NameNode以及整个分布式文件系统的状态,浏览分布式文件系统中的文件以及log等。









运行测试实例wordcount
注意:1.注意wordcount大小写,这里都是小写
         2.复制命令可能会出现命令不识别,尽量手写
copyFromLocal: Unknown command
Usage: java FsShell
           [-ls <path>]
      .......
           [-help [cmd]]



这里使用附带jar包里的wordcount
(1)先在本地磁盘建立两个输入文件file01 和 file02: 
$ echo "Hello World Bye World" > file01  
$ echo "Hello Hadoop Goodbye Hadoop" > file02
(2)在hdfs 中建立一个input目录:
$ hadoop fs –mkdir input 
(3)将file01 和 file02 拷贝到hdfs中:  
$ hadoop fs –copyFromLocal file0* input 
(4)执行wordcount:  
$ hadoop jar hadoop-examples-1.2.0.jar wordcount input output
(5)完成之后,查看结果:
$ bin/hadoop fs -ls . 查看已有的文件列表
$ hadoop fs -cat output/part-r-00000  查看结果
结果为:可见把单词都统计了
Bye 1  
Goodbye 1 
Hadoop 2 
Hello 2 
World 2  
举报

相关文章推荐

Hadoop伪分布集群安装

最近研究了一下hadoop集群,在此做个总结,在一台虚拟机中模拟集群环境,废话少说,进入正题,虚拟机中装linux就不说了 1、使用root用户登陆,配置环境,选VMnet1网卡,Host-Only...

Hadoop安装单机/伪分布式配置/Hadoop集群

站在巨人肩膀上学习

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

Hadoop完全分布式集群安装

本文目的是教大家配置Hadoop的完全分布式的集群,除了完全分布式还有两种分别是单节点和伪分布式部署。伪分布式只需要一台虚拟机,配置的东西也相对较少,大多用作代码调试,大家稍微查阅资料,或者对我的配置...

hadoop2.2.0集群测试搭建(伪分布式集群测试)

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。 注意:apache提供的hadoop-2.2.0的安装包是在32位操作系统编译的,因为hadoop依...

Hadoop完全分布式集群安装

1、准本三台虚拟机,一台用作namenode,另外两台用作datanode,我这里安装了一台之后克隆出了两台,三台配置完全一样, 可以先装好一台,然后克隆出两台,然后更改每台的配置,但对于初次安装的不...

Ubuntu上安装HADOOP单机伪分布式集群

1、新建用户和组 addgroup hadoop adduser --ingroup hadoop hadoop 注销root以hadoop用户登录   2、配置SS...

Hadoop单节点集群安装(伪分布式安装)

本文来自Hadoop 2.7.1 官网http://hadoop.apache.org/docs/r2.7.1/hadoop-project-dist/hadoop-common/SingleClus...

搭建伪分布式hadoop集群

hadoop版本:hadoop-0.20.2 jdk版本:jdk-7u67-linux-x64.tar 虚拟机linux64位 我的软件都安装在 /home/hadoop/ (1)安装虚拟机,网上教...

Hadoop安装-单节点伪集群

本文介绍如何配置和安装单节点的Hadoop伪集群,在单节点的集群上,同样可以操作Hadoop分布式文件系统(HDFS),以及执行Hadoop MapReduce。

kafka2.9.2的伪分布式集群安装和demo(java api)测试

1、什么是kafka?   kafka是LinkedIn开发并开源的一个分布式MQ系统,现在是Apache的一个孵化项目。在它的主页描述kafka为一个高吞吐量的分布式(能将消息分散到不同的节点上)...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)