hadoop
文章平均质量分 81
goobycle
努力吧,2011~~~
展开
-
Hadoop-- 海量文件的分布式计算处理方案
转自:http://blog.csdn.net/calvinxiu/article/details/1506112 Hadoop 是Google MapReduce的一个Java实现。MapReduce是一种简化的分布式编程模式,让程序自动分布到一个由普通机器组成的超大集群上并发执行。就如同java程序员可以不考虑内存泄露一样, MapReduce的run-time系统会解决输入数据的分转载 2011-10-27 10:35:59 · 412 阅读 · 0 评论 -
Ubuntu下配置 Eclipse 编译、开发 Hadoop(MapReduce)源代码
本文不是面向 HDFS 或 MapReduce 的配置使用,而是面向 Hadoop 本身的开发。进行开发的前提是配置好开发环境,即获取源代码并首先能够顺畅编译(build),本文即记录了在 Linux(Ubuntu 10.10)上配置 eclipse 编译 Hadoop 源代码的过程。 开发 Hadoop 应该基于哪个版本的源代码呢?一种选择是通过同步跟踪最新源代码,另一种选择是选择某个转载 2011-11-09 08:52:14 · 452 阅读 · 0 评论 -
福布斯:Hadoop——你不得不了解的大数据工具
如今Apache Hadoop已成为大数据行业发展背后的驱动力。Hive和Pig等技术也经常被提到,但是他们都有什么功能,为什么会需要奇怪的名字(如Oozie,ZooKeeper、Flume)。 Hadoop带来了廉价的处理大数据(大数据的数据容量通常是10-100GB或更多,同时数据种类多种多样,包括结构化、非结构化等)的能力。但这与之前有什么不同? 现今企业数据仓库和关系型数据库擅转载 2012-02-21 17:11:29 · 487 阅读 · 0 评论