hadoop
vincent2610
晚来天欲雪,能饮一杯无
展开
-
Hadoop源码解析之: TextInputFormat如何处理跨split的行
来自: 我们知道hadoop将数据给到map进行处理前会使用InputFormat对数据进行两方面的预处理: 对输入数据进行切分,生成一组split,一个split会分发给一个mapper进行处理。 针对每个split,再创建一个RecordReader读取Split内的数据,并按照的形式组织成一条record传给map函数进行处理。 最常见的FormatInput就是Te转载 2014-05-13 22:56:39 · 430 阅读 · 0 评论 -
hadoop 1.2.1 eclipse 插件编译
来自http://www.cnblogs.com/alex-blog/p/3160619.html 在ubuntu上进行hadoop相关的开发,需要在eclipse上安装hadoop开发插件。最新释放出的hadoop包含源码的包,以hadoop-1.1.1为例,包含相关的eclipse插件的源码,因此可以针对自己的eclipse版本来编译一个hadoop的eclipse插件,我的e转载 2014-05-12 13:54:51 · 501 阅读 · 0 评论 -
一步步教你Hadoop多节点集群安装配置
1、集群部署介绍 1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统HDFS(Hadoop Distributed Filesystem)和MapReduce(Google MapReduce的开源实现)为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲,可以分成两大类角色转载 2014-05-09 16:22:13 · 1272 阅读 · 0 评论