Hadoop是一个由Apache基金会所开发的 分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。[1] Hadoop实现了一个 分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高 容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问 应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为 Lucene的子项目 Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System( GFS) 的启发。2006 年 3 月份,Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。Hadoop 是最受欢迎的在 Internet 上对搜索 关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题,采用 并行执行机制,因此能大大提高效率。名字起源Hadoop这个名字不是一个缩写,而是一个虚构的名字。该项目的创建者,Doug Cutting解释Hadoop的得名 :“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子恰恰是这方面的高手。
U2FsdGVkX193Z6U4LRus87B0+YyHll/yMMWiDRKiRzE8sqPUp2ZmiRhUt9GANqaT
SZimml7VKmuba35jBCXadG7IvoN4kZUkSAhiwqc8/5TWk4aYe1fiXkPYjliU60l9
cymd4SFZQFky6+FKPhNJBw3vIIzpVbbzLakIgA5D28xc/XqGaXNBYDGnK1jyOfz2
YESNX3rfzKC3h54i+HY/QSykXWR03utJmSJPt24+ZoMyXh/vieySHDIe2EO3VRtY
/40zYM5ubKkM7wRu7M//waTrkaSeA07r30P8jptWGyxLrYDBnrAKut6hZMB4gAwW
1H+ncuf2xUi8ILkmehZdnOu+D2bOQY2JTyC48nYXi0ZH7/6YCxakpiyp/mzoIqRO
Vdgzw0/kYqevEtylOLLYJZXjVmpwSKPgQ5TEMD6n/N2hXOjpSG7FOB/SiwkMANym
v9K/Bu6nQTP3FoCiGQdB+2XR1h8+zciv5GpjzpoCAY/J3H11FAC+5NlOcxSy0Mjk
K8IJ7gXQwPF8w3iqlzezQH0R2mJNr23zQdWlLXQMmxsWWVdcs0Nwwq/yfSxNVP+4
ZVE3gN+0cy5oNA7xLWoMWTQVCaDi1xuLGIjBbTzEuRLUz/WEv5Qqd/4ILRoZru95
tQ90OCNDbJ8oxB6rT/4UjcPQFu1//emX+IV2ftmkmmrO2hbksOkHloWmmXxmbZVZ
lblBrHG3b2SFp2G9sprpxFesWupXWHK51eEDMNu817rcKDvtAJnRChSshadY7l/S
21MxHAmNdVCdA5Nhb3BIZ3lzuK8yvSmdekRiTgfw44NikIB6b33avAXt+PJukk/h
PQ5s2jrAUxJ3ptpAHR9U32PLXu6Ih5EgNPTXgY6pRcPxPo8PCfXlSztZLodV+Q4k
FIJjWhF743+1DSPiPBQ7s7cL6Y0OS2sbRJfy0vIWNO8LRKYB7N+IjvBjPCW2D05j
VW3LM/UNXuZFw8wJS6V9hgi0uqvjoeUjencwDdPYIWMXL3hpNcmDXPfX6KNb2hvo
kO36/cwtcLxjVFDj8YRYcGrduqOwOCc5juLk5+sYd9iHd+v/8VQ17rLvyiuTgHjd
/px/oFQJSCM3vEHdZPWlQW3Y0FL6Sz8rO2e1bY/s+Y4rdA/r3tcrVNHeZVfJS+c5
Ts0cYcSi3ScmednMovcsa7GvNyQESdMMCf4VssPcST3LdeTO9zR52acPPk8hhHm2
vNPhXGA6CWRywXSx3ONHAn3rDzDi3iGZ/EwLc+mMRmUqLs/xrcGLf3eIcc9ou5um
u3A5VW4H392ijt4ObkLVoMY58mqh23YV17c+UijePJx0suuW+hQArkgu1CEUefOf
502i+X1yBU1ghe0N4T7FAkxXEcQ4qbRsG0ogFKj7dmSI/tw+bwWnpBBV9p1WY5a5
LjGXNDsGQZbnpcuo6mEL38GA4gK2rLvHz1aNoGLREtN8nypkMWxtZd91J/EKpaXA
+Qs5g5zYR5RB8cQ0H2pqN1iQm/BWJM12QZSPkz/mNnrZwBCi5SLNCXug0185flZI
NwXV7z1KYhSk5mRiwRKHMhtH/LQ/2Y/R5ZnOV1eji7o9sA1UQvf/xeN+jHDYccQp
v0a3v4LlVeoVi04Bi8t5fJgQTIIeSifE9Q87euPifWzzKEOeqmRdnwcBFwOSQ7fF
/7UKfKTTA1KTw42NkYjJIGPETvTfceYe1CZvGT7IJmKqjQX9vPw3BS454Zheb1BQ
KDqWzUAiK0v1LDjESccVp3FSxI02YjIoE1HEdMfkQ3Gm6UIOIcp1NnnYerPfU9TV
hIqMO/Gao+vGw5jlWpWUHW2IKGEkFODuFW8jftVfkZ/9WiWE/EIPsY3IyNKGitFR
KTOSaTZlh1+1/dQkI+eSJTxGtJUN/MFVr1uWgxxB+8lbLndt10f1RMFxxWYM/Ujm
3vp0KVvWPtPDHKaWkQkqVHioMNLqndf+31izYePK1LtE9EGkSs1PQ7XWLhawnMES
6TOnpWc3U++Jof0/iXUwCo+4ATPNWPv3gvT5fswHY8MovnM3WIopaWrLgHPpZHos
n4ZQ1MSYGGJEBHre661jPcVFI/ucLkDgZIS+qoyp2W1MwbTF1NV6YF6HjcHNbJ7P
TYNrjnrx/i4It4QbfOT7wl4UoY+0GjiyYA7PeB/UHDPOyMrZIMJBzVGe+Xye2+UW
BZxQIsJbGn+t2GGRSagZU7N8JnD5sdrWgVNLoIgTCGPjLJcZkcy+NxIgFlNnRU9V
50ICRq1/ACFDGNkNKCFHm/SKukZfSFyOyoB30RG2Nq2UCUVvSAHZpLFeulu/FET5
bYx70Jsg5MOsw7xssiREVN8ACK4HuOSFWhAJ9yInpfmYJsbgf2CmSzVGJryym4p5
V8ibbkK4mFIlX5638iBSGhLkzdD/MSP89wwvRSWKn2fu4YEoLNYOJ8gll55/icT8
/o0O7GSDhCDfIe2071hk+noiMNbb8L+BbbLzJTjKtSP2vqfTkxCKASIZxCGnf8SS
FaYVGyr1ak5wS3ZJ7x6NFojd0RclcV1ofE4gMuihQ/lDOrcs/uCIspB11/aldigL
VugmzItWXb8UoQxiCsfBTLyLus0y9GeJZqSzH3md8E8NgNCl789y1wqAJ03Md2sl
g8z70EvAyypYZoj2PxWyVWkYTqxFl7g0Ao9ylM1uZN32PVx+KLeUP1iJX5inPDj5
uumbBGJ3iElIsEOwESIY/+iOgguRusOGk19jCmw21mDotk7A9/JPXczg4NKcOLlP
aT3HpKRJFQMc78YGZYEiK60JOD0whhpH9LYZVrXB+VEpTfjlMCOpuacx8D9ldyjb
SfBmzfFSAUJKLQVTs/c2VlYyCl4gJsTM1TQHIGQFRfnh1vpf+xgadYMn6LLzB6Mf
GS5YmXz+ympNqU5qGDaN1A==