Hadoop学习笔记——01.简介

课程来源：网易云课堂——《大数据培训之Hadoop》《Hadoop实战》

<--------------------------------------------------------------->

Hadoop是针对海量数据处理的一个计算框架，可以很好的完成海量数据的存储和计算。

分布式：将众多的节点资源协同起来完成计算工作

可靠：单个节点故障不会影响整个程序的运行

可伸缩：任何单个节点的增加和删除不会影响到整个程序的运行

 

2002年Apache开了一个项目叫Nutch，目的是抓取网页，但是碰到了一个海量数据存储的问题

2003年 google工程师发表论文提出以分布式方式存储大量数据。

2004年 Nutch小组人员参考google的论文开发了NDFS。

2004年google发表了MapReduce 算法（映射-化简）。

 

 

下面2012年统计情况：

 

数据单位换算：

1t = 1024g

1p = 1024t

1e = 1024p

1z = 1024e

1y = 1024z

 

这么大量的数据怎么存储？怎么运算？

1.存储（使用hdfs文件系统）

  将数据分割开来，即分布式存储（dfs:distributed file system）->  hdfs

2.运算（mapreduce算法）

  mapreduce : map(映射) -- reduce(化简)

 

 

 

 

 

 

 

 

<--------------------------------------------------------------->