大数据处理
文章平均质量分 91
can007
莫畏浮云遮望眼...
展开
-
Apache Hadoop2.0 安装部署说明
Apache Hadoop 2.0 安装部署1. 环境说明 Hadoop的版本选用的hadoop-2.0.2-alpha,此版本的hadoop增加了诸如Fedreation等许多新功能。是目前Apache Hadoop最新的版本。 Apache-Hadoop下载地址: http://www.apache.org/dyn/closer.cgi原创 2012-12-15 11:15:47 · 3587 阅读 · 0 评论 -
CDH4.1(hadoop-2.0.0-cdh4.1.2)安装部署文档
1. 环境说明 Hadoop的版本选用的hadoop-2.0.0-cdh4.1.2,此版本的hadoop增加了诸如热备等许多新功能。是Cloudera在hadoop0.23基础上改造的,并且把部分功能一起贡献给了Apache。目前Apache Hadoop最新的版本是hadoop-2.0.2-alpha。 CDH4下载地址: https://c原创 2012-11-23 22:42:56 · 4344 阅读 · 15 评论 -
关于DataNode更改IP地址后所可能引发HDFS集群状态变化的分析
在Apache Hadoop2.0版本中,测试如果DataNode更改HostName或者IP地址,会引起什么样的情况发生。1 测试环境操作系统:CentOS 6.2Hadoop版本:Apache Hadoop2.0.2Block副本数:2个节点部署:NodeTypeHostNameIPNameNode原创 2012-12-19 20:36:11 · 5613 阅读 · 0 评论 -
Apache Hadoop2.0之HDFS均衡操作分析
1 HDFS均衡操作原理HDFS默认的块的副本存放策略是在发起请求的客户端存放一个副本,如果这个客户端在集群以外,那就选择一个不是太忙,存储不是太满的节点来存放,第二个副本放在与第一个副本相同的机架但是不同节点上,第三个放在与第二个和第一个副本不同的机架上,原则是尽量避免在相同的机架上放太多的副本。随着时间的推移,在各个DataNode节点上的数据块会分布的越来越不均衡。如果集群不均衡的程原创 2013-01-04 22:56:35 · 7726 阅读 · 2 评论 -
HDFS中zookeeper的异常分析
1.KeeperException当和zookeeper已经建立连接,但是要查找的节点信息不存在时,会抛出此异常。当在查询节点信息的过程中,和zookeeperServer失去连接,此时KeeperException.Code为CONNECTIONLOSS,则,zookeeperClient端会继续查找ZK_CONNECTION_RETRIES*ZK_INIT_RETRIES次数,目前,Z原创 2012-11-07 11:38:11 · 3493 阅读 · 0 评论 -
Mapreduce执行过程分析(基于Hadoop2.4)——(三)
4.4 Reduce类4.4.1 Reduce介绍整完了Map,接下来就是Reduce了。YarnChild.main()—>ReduceTask.run()。ReduceTask.run方法开始和MapTask类似,包括initialize()初始化,根据情况看是否调用runJobCleanupTask(),runTaskCleanupTask()等。之后进入正式的工作,主要有这原创 2014-07-10 23:05:13 · 1479 阅读 · 0 评论 -
Mapreduce执行过程分析(基于Hadoop2.4)——(一)
1 概述该瞅瞅MapReduce的内部运行原理了,以前只知道个皮毛,再不搞搞,不然怎么死的都不晓得。下文会以2.4版本中的WordCount这个经典例子作为分析的切入点,一步步来看里面到底是个什么情况。2 为什么要使用MapReduceMap/Reduce,是一种模式,适合解决并行计算的问题,比如TopN、贝叶斯分类等。注意,是并行计算,而非迭代计算,像涉及到层次聚类的问题就不原创 2014-07-10 23:03:03 · 1514 阅读 · 0 评论 -
Mapreduce执行过程分析(基于Hadoop2.4)——(二)
4.3 Map类 创建Map类和map函数,map函数是org.apache.hadoop.mapreduce.Mapper类中的定义的,当处理每一个键值对的时候,都要调用一次map方法,用户需要覆写此方法。此外还有setup方法和cleanup方法。map方法是当map任务开始运行的时候调用一次,cleanup方法是整个map任务结束的时候运行一次。4.3.1 Map介绍原创 2014-07-10 23:04:07 · 1735 阅读 · 0 评论 -
Spark1.0.x入门指南(spark on yarn, standalone)
1 节点说明 IPRole192.168.1.111ActiveNameNode192.168.1.112StandbyNameNode,Master,Worker192.168.1.113DataNode,Master,Worker192.168原创 2014-07-16 21:38:00 · 9473 阅读 · 0 评论