- 博客(11)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 Hadoop学习总结之Map-Reduce的过程解析
<br />引自 http://www.cnblogs.com/forfuture1978/archive/2010/11/19/1882268.html<br /> <br />
2011-03-29 18:12:00
828
原创 cgywin下 hadoop运行 问题
<br />1 cgywin下安装hadoop需要配置JAVA_home变量 ， 此时使用 window下安装的jdk就可以 ,但是安装路径不要带有空格。否则会不识别。<br /> 2 在Window下启动Hadoop-0.21.0版本时，会出现下面这样的错误提示： <br />Java代码 java.lang.NoClassDefFoundError: org/apache/hadoop/util/PlatformName Caused by: java.lang.ClassNotFoundEx
2011-03-28 15:03:00
1908
原创 mapreduce eclipse plugin使用
<br /><br />本机的环境如下：<br />Eclipse 3.6<br />Hadoop-0.20.2<br />Hive-0.5.0-dev<br />1. 安装hadoop-0.20.2-eclipse-plugin的插件。注意：Hadoop目录中的/hadoop-0.20.2/contrib /eclipse-plugin/hadoop-0.20.2-eclipse-plugin.jar在Eclipse3.6下有问题，无法在 Hadoop Server上运行，可以从http://code.g
2011-03-25 18:01:00
5588
转载 eclipse安装hadoop插件
<br /><br /><br />如果安装的是hadoop-0.20.2，那么eclipse-plugin的具体位置位在：/home/hadoop/hadoop-0.20.2/contrib/eclipse-plugin下面。 <br />如果安装的是hadoop-0.21.0，那么eclipse-plugin的具体位置位在：/home/hadoop/hadoop-0.21.0/mapred/contrib/eclipse/hadoop-0.21.0-eclipse-plugin.jar下面<br />将
2011-03-25 17:56:00
1608
原创 rz/sz
<br />我想还有很多人没有听说过ZModem协议，更不知道有rz/sz这样方便的工具。 好东西不敢独享。以下给出我知道的一点皮毛。 下面一段是从SecureCRT的帮助中copy的：<br /> <br /> <br />ZModem is a full-duplex file transfer protocol that supports fast data transfer rates and effective error detection. ZModem is very user friend
2011-03-25 17:46:00
885
原创 eclipse mapreduce plugin
<br />http://wiki.apache.org/hadoop/EclipsePlugIn
2011-03-25 17:25:00
1021
原创 hadoop errors
<br /><br />1、taskTracker和jobTracker 启动失败<br />2011-01-05 12:44:42,144 ERROR org.apache.hadoop.mapred.TaskTracker: Can not start task tracker because java.lang.RuntimeException: Not a host:port pair: local<br /> at org.apache.hadoop.net.NetUtils.createSock
2011-03-25 17:08:00
1945
原创 hadoop deployment
<br /><br />本文主要是以安装和使用hadoop-0.12.0为例，指出在部署Hadoop的时候容易遇到的问题以及如何解决。<br /><br />硬件环境<br />共有3台机器，均使用的FC5系统，Java使用的是jdk1.6.0。IP配置如下：<br />dbrg-1：202.197.18.72<br />dbrg-2：202.197.18.73<br />dbrg-3：202.197.18.74<br />这里有一点需要强调的就是，务必要确保每台机器的主机名和IP地址之间能正确解析。<br
2011-03-25 17:00:00
8851
原创 Hadoop基本操作
<br />在这篇文章中，我们默认认为Hadoop环境已经由运维人员配置好直接可以使用。<br /><br />假设Hadoop的安装目录HADOOP_HOME为/home/admin/hadoop。<br /><br />启动与关闭<br />启动Hadoop<br />1. 进入HADOOP_HOME目录。<br /><br />2. 执行sh bin/start-all.sh<br /><br />关闭Hadoop<br />1. 进入HADOOP_HOME目录。<br /><br />2. 执行sh
2011-03-01 15:23:00
1991
原创 Hadoop命令大全
<br />1、列出所有Hadoop Shell支持的命令<br /> $ bin/hadoop fs -help<br />2、显示关于某个命令的详细信息<br /> $ bin/hadoop fs -help command-name<br />3、用户可使用以下命令在指定路径下查看历史日志汇总<br /> $ bin/hadoop job -history output-dir<br />这条命令会显示作业的细节信息，失败和终止的任务细节。<br />4、关于作业的更多细节，比如成功的任务，以及
2011-03-01 15:04:00
34904
1
原创 Hadoop学习（一）
<br />今天刚刚从hadoop网址下载了edition 0.21，上传到公司内网 server上试了一把。<br /> <br />跟着官方网站走了一趟，在执行<br />Format a new distributed-filesystem:<br />$ bin/hadoop namenode -format<br />后执行<br />Start the hadoop daemons:<br />$ bin/start-all.sh <br />时报错：<br /> <br /> <br />20
2011-03-01 14:37:00
11942
空空如也
javaeye.com 目前存在的bug
2010-03-17
TA创建的收藏夹 TA关注的收藏夹
TA关注的人