第1章 初识hadoop

1.1 数据存储和分析

 我们生活在数据时代，每天都有大量的数据在产出，但这些数据怎么存储、使用就变的非常重要的；一个数据不被使用那这份数据就是死数据

现在我们的磁盘读速度100M/s 如果读10T 的数据需要 10 * 1000 * 1000 M / 100M =  30个小时；那这样的速度肯定是不可取的，一种简单的办法就是把数据存储在多台机器上(数据足够大，一台机器也存储不下来)；然后并行的读取多个磁盘，这样读取时间就会降下来；这样一块磁盘存储很多份数据，一份大数据分配到多台机器上，把数据的读取错开时间，就可以达到最大的效率(吞吐量)

hadoop 系统提供了一个稳定的共享存储和分析系统；存储由HDFS 系统支持，分析是由MR 来支持；存储和计算(分析) 是hadoop 系统的2个核心功能

1.2  haddop 生态系统的组成部分

• core: 一些列的api 接口
• hdfs: 分布式文件系统
• mapreduce: 大数据并行计算
• pig: 一种流式语言，运行在hadoop 和hdfs上
• hbase：分布式、列存储数据库
• hive : 分布式数据仓库，提供SQL 的查询语言