hdfs
袁先生的博客
智来科技(大连)有限公司
展开
-
Hadoop分布式文件系统:架构和设计要点
原文:http://hadoop.apache.org/core/docs/current/hdfs_design.html一、前提和设计目标1、硬件错误是常态,而非异常情况,HDFS可能是有成百上千的server组成,任何一个组件都有可能一直失效,因此错误检测和快速、自动的恢复是HDFS的核心架构目标。2、跑在HDFS上的应用与一般的应用不同,它们主要是以流式读为主,做批量处理;比之原创 2012-05-08 14:12:37 · 564 阅读 · 0 评论 -
Hadoop环境搭建-单节点
《Hadoop环境搭建-集群》 自漫聊1.0发布以来,研究Hadoop也有一段时间了,目前环境已基本搭建好,规模为15台的小型集群,昨晚测试时是用wordcount统计一个1.2G的log文件,总耗时2分16秒,虽然测试文件不大,但其性能的优越性已经体现出来了。 闲话不多说了,进正题。 注:本文的环境搭建是针对双系统和linux系统的,而非win下的虚拟机原创 2012-05-08 09:07:58 · 1235 阅读 · 1 评论 -
Hadoop环境搭建-集群
进入《Hadoop环境搭建-单点》 流程:配置阶段:配置一系列文件在所有slave节点上拷贝master和JobTracker的公钥在JobTracker节点上拷贝master的公钥运行阶段:启动hadoop跑wordcount集群搭建准备:至少两台已完成单节点搭建的机器(此例为两台,IP分别是192.168.1.10与192.168.1原创 2012-05-08 09:09:56 · 827 阅读 · 0 评论 -
利用JavaAPI访问HDFS的文件
1、重读配置文件core-site.xml要利用Java客户端来存取HDFS上的文件,不得不说的是配置文件hadoop-0.20.2/conf/core-site.xml了,最初我就是在这里吃了大亏,所以我死活连不上HDFS,文件无法创建、读取。hadoop.tmp.dir/home/zhangzk/hadoopA base for other原创 2012-05-08 09:40:00 · 770 阅读 · 1 评论 -
Servlet实现HDFS系统的远程上传
首先要使用apache的commons.fileupload包,这个可以去官网上下的啦...很方便另外还要使用:hadoop-core.jar以及logging.jar,大家都下下来,放到Servlet的lib下吧。我身边的哥们用的是Struts实现,大家有兴趣的话,可以以后发给大家一起瞅瞅upload.htm源码: Fil原创 2012-05-08 13:20:40 · 1953 阅读 · 1 评论 -
Hadoop 集群配置(最全面)
通常,集群里的一台机器被指定为 NameNode,另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\官方地址:(http://hadoop.apache.org/common/docs/r0.19.2/cn/cluster_setup.html)1 先决条件确保在你集群中的每原创 2012-05-14 21:33:50 · 625 阅读 · 0 评论 -
hadoop Unrecognized option: -jvm
情景描述: 在VM虚拟机上,按照hadoop手册,搭建Single Node. 启动hadoop时 #./start-all.sh 报错: ####################################################### localhost: Unrecognized op原创 2012-05-16 00:07:17 · 1528 阅读 · 0 评论 -
hadoop,hbase,zookeeper错误日志及部分解决办法
【收集】hadoop,hbase,zookeeper错误日志及部分解决办法这是一位网友收集的hadoop,hbase,zookeeper错误日志及部分解决办法,以备以后遇到问题作为参考之用。hadoop-0.20.2 & hbase-0.90.1集群启动错误问题解决:问题如下:org.apache.hadoop.ipc.RPC$VersionMismatch: Pr原创 2012-08-01 17:25:18 · 3104 阅读 · 0 评论 -
hadoop搭建异常 /tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, inste
/tmp/hadoop-root/mapred/system/jobtracker.info could only be replicated to 0 nodes, instead of 1java.net.NoRouteToHostException: No route to host在hadoop集群中使用copyFromLocal命令的时候发生错误,识别不到datanode原创 2012-08-22 09:46:36 · 1503 阅读 · 0 评论