hadoop 中文wiki

首页

• hadoop一个用于在普通硬件构成 的大集群上运行应用程序的框架。Hadoop框架透明地为应用程序提供可靠性与数据移动保障。Hadoop实现了一个被称为 mapReduce的 计算模型，在这个计算模型中应用程序被分为很多的小块，每一块都能在集群中的任意节点上执行或重新执行。另外，它还提供了一个分布式文件系统（HDFS）来在计算节 点上存储数据，为集群提供了非常高的聚合带宽。在本框架中无论是Map/Reduce还是分布式文件系统都被设计为能够自动地处理节点上的错误

• Overview of Hadoop

• FAQ

• Official Hadoop Core Website : download, bug-tracking, mailing-lists, etc.

• 关于 Hadoop的PPT与文章

• PoweredBy, 谁在使用Hadoop

• 获取帮助

  • 从hadoop社区寻求帮助

  • 招聘

• Hadoop用户组 (HUGs)

用户文档

• 重要概念

• Hadoop 起步关于hadoop的细节与解释

• 快速开始为想要快速运行的hadoop用户

• 在Ubuntu Linux (单节点集群)上运行hadoop(一个关于Hadoop安装，配置以及在单节点上运行的指南)

• 在OS X 10.5 64-bit 上运行Hadoop(单节点集群)

• 怎样配置软件Hadoop

• 用于管理系统的Web软件

• 控制行命令选项脚本 hadoop shell

• Hadoop代码总览

• 怎样处理名字节点错误

• 怎样从HDFS总读和写

• 错误处理当出现问题的时候该怎样做

• 管理大集群的一些诀窍

• GangliaMetrics:怎样在ganglia里面加入计量

• Map/Reduce

  • HadoopMapReduce

  • HadoopMapRed类

  • 有多少Maps与Reduces

  • 任务运行环境

  • 怎样DebugReduce程序

• Examples

  • WordCount

  • Python Word Count

  • C/C++ Word Count

  • Grep

  • Sort

  • RandomWriter

• Amazon

  • 在AmazonEC2 上运行Hadoop

  • 在 AmazonS3 上运行Hadoop

• 标准测试集

  • 硬件标准测试集

  • 数据处理标准测试集

• 子项目

  • Hbase：一个类似于 Bigtable的在Hadoop HDFS之上的结构化数据存储系统

  • Pig 是一个为并行计算的高层次的数据流语言与执行框架。它在Hadoop core的基础之上构建。

  • Hive：一个数据仓库基础设施，它可以处理sql- like的adhoc查询用以处理存储在hadoop之中的数据（任意格式）。

  • ZooKeeper是一个为分布式应用提供的 高性能的一致性协调服务

• 贡献包

  • HadoopStreaming (对于使用其他编程语言来编写Hadoop应用程序非常有用)

  • DistributedLucene, 对于在Hadoop上使用分布式Lucene 索引的一个建议 

  • MountableHDFS, Fuse-DFS &其他工具用于把HDFS当作一个标准的文件系统mount到Linux上 (以及其他Unix OSs)

  • HDFS-APIs 使用 perl, python, php, 等等

  • Chukwa：一个数据收集，存储，与分析的框架

开发者文档

• 路线图列举了发布计划

• 怎样贡献代码

• 怎样安装你的开发环境

• 怎样进行CodeReview

• Jira 用法指导

• 怎样提交

• 怎样发布

• HudsonBuildServer

• 开发提示

• 项目建议

• 在IDEA下Hadoop的应用

相关资源

• Nutch Hadoop指南：对于在一个应用上下文环境下理解Hadoop非常有用

• IBM MapReduce Tools for Eclipse：一个简化了fMapReduce 程序创建于部署的Eclipse插件

• Hadoop IRC channel 是#hadoop at irc.freenode.net.

• Using Spring and Hadoop (讨论共同使用Hadoop与Spring提供的的依赖注入特性的可能性)

• Hama, 一个基于Hadoop Map/Reduce 的并行矩阵计算包

• Heart, 一个全球大小的RDF数据存书与分布式处理引擎

• Mahout, 使用Hadoop的高可扩展的机器学习算法scalable Machine Learning algorithms using Hadoop

• Live Hadoop 一个三个节点的，运行着 OpenSolaris live 系统的分布式Hadoop集群