hadoop
kunlong0909
这个作者很懒,什么都没留下…
展开
-
“root@localhost's password:”说明ssh互信没有建立起来
是Jobtracker没有执行起来,我用0.20.203的版本也是这样。一样的提示,找不到server类。namenode和datanode都能正常运行,但是jobtracker启不来。怀疑那个版本的jar包里面有问题,可能需要重新编译才行。如果是别的原因,希望高手给予解答。现在还一直使用0.20.2版本的,没有问题。新出的0.20.204和0.20.205版本都没有试过。另外:转载 2012-02-22 17:24:27 · 16062 阅读 · 2 评论 -
hadoop Bad connection to FS. command aborted
一般出现这个问题,主要是因为你的core-site.xml配置的问题一开始默认的配置是hdfs://localhost:9001,但是当配置集群的时候,我自以为聪明的把localhost替换成了192.168.1.1(自己的IP地址),这样就导致了hadoop的不识别,改成localhost就可以了更正:需要将localhost替换成namenode的主机名即可转载 2012-02-22 17:09:31 · 2145 阅读 · 0 评论 -
Hadoop安装配置
文章来源:http://www.cnblogs.com/xia520pi/archive/2012/05/16/2503949.html1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统(HDFS,Hadoop Distributed Filesystem)和MapReduce(Google转载 2012-11-06 20:59:45 · 761 阅读 · 0 评论 -
转载 Map/Reduce执行流程
MapReduce框架结构Map/Reduce是一个用于大规模数据处理的分布式计算模型,它最初是由Google工程师设计并实现的,Google已经将它完整的MapReduce论文公开发布了。其中对它的定义是,Map/Reduce是一个编程模型(programming model),是一个用于处理和生成大规模数据集(processing and generating large data转载 2012-11-18 13:41:53 · 928 阅读 · 0 评论 -
mapreduce 利用InverseMapper.class对key,value进行 交换实现词频排序
1.实现的map类转载 2012-11-19 18:52:41 · 2068 阅读 · 0 评论