Hadoop是一个由Apache基金会所开发的分布式系统基础架构。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。
[1] Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-cost)硬件上;而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming access)文件系统中的数据。
Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。
Hadoop由 Apache Software Foundation 公司于 2005 年秋天作为Lucene的子项目Nutch的一部分正式引入。它受到最先由 Google Lab 开发的 Map/Reduce 和 Google File System(GFS) 的启发。
2006 年 3 月份,Map/Reduce 和 Nutch Distributed File System (NDFS) 分别被纳入称为 Hadoop 的项目中。
Hadoop 是最受欢迎的在 Internet 上对搜索关键字进行内容分类的工具,但它也可以解决许多要求极大伸缩性的问题。例如,如果您要 grep 一个 10TB 的巨型文件,会出现什么情况?在传统的系统上,这将需要很长的时间。但是 Hadoop 在设计时就考虑到这些问题,采用并行执行机制,因此能大大提高效率。
名字起源
Hadoop这个名字不是一个缩写,而是一个虚构的名字。该项目的创建者,Doug Cutting解释Hadoop的得名 :“这个名字是我孩子给一个棕黄色的大象玩具命名的。我的命名标准就是简短,容易发音和拼写,没有太多的意义,并且不会被用于别处。小孩子恰恰是这方面的高手。”
Hadoop是一个能够对大量数据进行分布式处理的软件框架。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。
Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。
Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。
Hadoop 还是可伸缩的,能够处理 PB 级数据。
此外,Hadoop 依赖于社区服务,因此它的成本比较低,任何人都可以使用。
Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点:
高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。
高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的,这些集簇可以方便地扩展到数以千计的节点中。
高效性。Hadoop能够在节点之间动态地移动数据,并保证各个节点的动态平衡,因此处理速度非常快。
高容错性。Hadoop能够自动保存数据的多个副本,并且能够自动将失败的任务重新分配。
低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比,hadoop是开源的,项目的软件成本因此会大大降低。
U2FsdGVkX1/EM1FyDU3hxGtfAIabcbY49ei5u5tilLPHwkJBDnE69kkgzWQJlldo
FKuts8sV8a7E297GggyaIlkHiuYoPiYUZsPTNs4AW6u7S+6ye4GOmKI5oXD8uGJx
g90w7JfOjbH4Zkmgib2JFIYYve4G/U3K362F0iBbuA8WiREFlC7s6KMyY3c3Tphj
17ljRFugIaOV41yhqlmsbFDHvYTnfZX6Y5ma+z9rvZjKn6NNKeYLR/Pt0d94S+xs
tkCagIBoAzXfOngsP4skt7EY+IIjP0Rj8NKzAvZmM4ErKVVG3sD5tIBFVmeGuGdu
m9MEJvsJqNBfehv9qWGxu7gBeDl5PeZC1f9b8qQ4P9A6+7/WGHqz+0DqfGwucklD
w/85cMNzkg7OGy5zTolMxEtX2P2ho+J+LO8cCjht9Qzl8p/+d3bSm8HCIXMpLIEI
ucURDjU/zdsVCBoev8kIBwEKkHnvMAqiTijXLJewAI4y/khNiN9c3aiOKsP/7Knv
oEZBdMRJYKam3CakymHviE71QlJbKiaPHO+oF7oTH+2EXQiUEnsLW3YwucN1kNWn
dZw+YFmBnzY/xBr5DyOLDRKXBO3zHi+7Bh5pbN0KHDUXqaU4bxObz6QirFDOiujK
NOCvM7ZNxoqMsPMvfh743Fl86pGAqN9TtSapUEGxlNqaF/N4XtinFauq6mVA0Pvm
OyC8nZqAereD9/YVO6efLORZSuAcJkMj0qp5tN3ME0ixva9C3zP4Z/qsxYYi4GeE
aQErzqioVAW+4ThSrud2TcOuGAFedVufIxOgdymDuBU/Odun9BtQoFrvLQvKnwvO
w7u2kiJJL/0CrhNAeda1qDIdMQalCS0zBaJYS7nmC4UVZfW2OjuyfP1lcNFnYbun
PADDp17zL90j8jezo+ANZlnMuv3oOU0wD3o2hhZvKBdVOXsSLntsinG5ePUcV73V
AK5Axklyz5MpOJF8Dysh7yVJ0QYX5H2fE7w86QE5eeVoQnBGUWW6J+bdHhjwI7sE
OdyR+wOeztNPVrBd892nZw+yd6BnfhlWu4MRLxxvuOQ6C5utOFEy30vbInmsz9os
YTMfBVgcrGTVSgdt6lxl14b9XXdhoAlMpb2R3xuFbuWzfxfW4ihp3deOpuPi4ZRE
6t+yPzSsU9wzk+2Ti/1zI2Dx/dQXtSIszkkHVLdyRvSOr8gu+5oQk9Yr3nVMPJAF
40YcqLlm/e2atqOFsn4a8glxEHGBVj1h9IG81c3842qgvoLg5FNEVRgUQev/8inb
L85sdQRMVFkkuKUu5egqE06m7ZeNyjXVQENHiyMbzopdvftZHjEu/z7rOJ1aV3XI
eG4nNvrPvCwEV1u0e6gDM2rhM0K3JIhjIYo/5OZ0UEXKDyooslVO4UcbkycCsUJn
Ce+7Xq3NftMuIzz+qGKh8Br8Wli1j9BNNZJje9d8KlTTpvWFplmGzezeTOikok6H
QtahY5PdigShVVlx3NfbyzFGd0dLZ0hMFgBN9c1OQ+wmMFM13P7zo7AIOMb53awQ
xnSGLyrvkiQwyeR35j95TUJP5274D5/smYL7OZ2DjHJ6LV2JgDXWCk0acJrMV2nI
FU/ijAhyA1Hjkn0+tQHiQlrbZV745pQ5q//2ekzNMuvkRRp+q9OQR5cD+CWS4TWT
A5TXeTTrA9EC5SQ8hJJmiIm1FDNkBhfirwN8YwFYNnrdPJ6cpVP/gdSoMJRbEzqN
LFAAZGVbY/4RddZI1Yg+ZOEMOqhZabajSsp249Gn0XqtNEYt4I5tu6/pLhHPpeIz
3sOA9+mEZtzrvTeSyyIqmXWv1VJUPJTa55lTPvkRA+ah9qmTRBwtSv+u+rMsfgI6
0WLdThAm5SyvrK1zNUJPbV1NmvqrP9U73Lti3GxvqG1wzF7YXYnZfdUf04LXVBNV
BDJHqTYuTB6dzPeFwoO4XZ0fDHZKYCyRyBRyqe+KNlMnLmIEjS2x04rBjstDPUJJ
NkLxrCU64qtanPvcMQMHqHyix9wKI5k68RBkXXoud8eiZce43aec1G8hUIBy/kou
yP7qrhWWagkhBdJgjjrUi2uvt783skT8H2fpTx+gCjhncDOAtZEJfqzxtVRIgGRL
c0KKYwgQpTOUIar9+t14mkiC8riftW6AMQecPi3pVB9sUrElIHB6AG/w5+EddHyk
fvmQi8us7OPlpjDjsaR65aVJitvdZaXyTDCQURdP9PLKXwKdw+6KKNe+sV3oaVb5
LAaNKnEn7K1g1jcRHFuNMyvFS0si3YSTWSi7gL8G3utBtxYmT38iVQkDt/2Y35Ti
OZwRQrlz7QhtUZSUQOh1gzylHILTYPmrKnPOhR7LCQDjKshTX2Kuteuz3jH2KkhX
IT6228U92qmCuu1yyHfzYP7Ig+oZoJgX+ccmqw5JR4o2OLFKiGW0nuCdEIZNDDtv
Ntcx9v2FdPZiF+poTCKgj92UovQCi3KG1bcbq28f7rZLu5BbeN7IbYSKLvre+a+p
t97OaD65S6Lk4udlXF+oBovFq2wygFsIOhKzoA+usrY2C9dpQmRsD9TdT7qGtL30
LcrJtomIiQ1F0dFt5yxb7ZHOirH7oYjeuOdELPncr9RQsMpoaUO6L3AHStWou6WL
kRvMfuS1pDFTPhhcpdyObRk+Czf2sQYOrmzuZluBT6BMVsPHzkYYwyCVvAbWzRTj
//XIy9WVnZvLq4XaMlJBoqBzE0Qz8pJpFM1BltAk4NRJRoaCggpBNcc/OerWsbwV
p0YBLF4FNv+zZKN9mSoxb8cFC+PLC/U5S/a6X2C8KZl0zf1565aiQB9FPRDV7D4A
qTRl+gNq8kHvh0Q79GFovQD2d9pX9rkUlc1dnE+8UIcqRz2fe4qy2Vwscz1CstCd
qdk93jzN86llMOiX3hathuhZ96HudW5qM1bDAyYl4Oatg11GAl2cRUwbM1n2BR0l
jixTl5HIev3MEQXRTASVGBvaTGJqpRng1ckNuylzRd/Xwqw5fyoBmJ+uqCf/haD0
qEeOp1J9OsiQ1wtJAOHhCjYgVUjPqYpccAPNSeHBsqegs8GkYxQEXeHffg40ovCz
d4skXnXVfQURyJzmDToa4Z3Vp4tC73XZ6dhJIK0HmoRTQ0mPPDEYnKsYVlr883vI
Dv07m1olVwWO/hJtzjdrquCLo+Hm8DZwjfq4qxGlxgUlOePlLxGNSbWtI0fI1TZv
SqzWTme5iassT7YMGUURUS+TQNDDmK2RvX3RcL2lpFzuNQDgEOg2VmbiqWtwlahX
36RlZmi58gpgXPcL7F1PhM/8PrnZK0xxT1qFyyNqN+SiuY/UNBurkYN3fidzuBod
JsxjVqnq5UHotxmRCCpRY4dJZXbKlA0SISxMczYtGxHP56OtFKj40BwNRk3rgPLI
4OU6osPLUMPJH6TJIkk4als7Zh26QmvgsIuMZKxHlg6sZaur2xTL2+k7zNeXZVmJ
/ytlVKO3AryQLbBgDL27xKcCP6UBnyc5EBy+wbVzr+FLv4mC/lPkpra+7KjRL9mm
FpzmfP4ta0Y3uEXNPgBfpyjkinn2fA9eGo9EXZHt8dWSXf0ssZ1qWAnjYGL17CRf
ljtIY/fpJIuiCWQPeJShW48fSPWCHc81cnTDI0gkfSZ+xJsVfXNCqEyanlHSyr93
11tHN9zJIX/BTS1EY8P88RTXgq9XbhujntRrHdyRieMusPfYWbEqhhL2Ou5+NWiI
uk1WVmVDPhtsevIULnXaXtcDmbzTu9F436Gdtc6qWWgvydxK+URrcce22RKIoNNL
SekWKBUe8PVeQAbPpTGNbD9a0V0QA6r6A2QnVult+xZTqXBdRRTteQKqhHgwm9ZK
SmX2BwLBeF//+xZldZqo/EX1dzcivejiC2HLiNqPh5lTJxcjKfO6osJbwWIzmffg
zOZLZNUtB+5mq2GspFIip9U+eie6XNgyxsUCOPdk4rw4OlfkHtp6I/XcQ1dvUzqW
ZabHboCrTlSDqVqsNchCiZUYhIK+2cJZsqDpzGMNlyA=