大数据与hadoop

大数据的概念

​ 听到大数据可以知道数据量一定很大，一般也是在PB级别的数据量。早期数据的产生速度慢，信息相对来说较少。

​ 大数据：无法在一定时间内，用常规软件工具进行捕捉、管理和处理的数据集合，必须采用新的处理模式，才能更好的管理和分析。

​ 大数据处理的问题：海量数据的存储问题和分析问题。

​ 大数据的存储单位简单介绍：Bit、Byte、KB、MB、GB、TB、PB、EB、ZB、YB、BB、NB、DB

大数据的特点

​ 1、大量。全世界的互联网每天产生的数据量非常大，仅仅纽约证交所每天产生的数据量大约有1TB。

​ 2、快速。大数据处理速度快，一般以1s为临界点。

​ 3、多样。数据可以分为：文本、视频、声音、图片等等，这些类型也可以分为结构化数据和非结构化数据。

​ 4、低价值密度。数据产生的价值，与数据量成反比。

大数据的生态圈

1、Hbase：hadoop领域的数据库，是一个基于列式存储的可以存储结构化数据和非结构化数据的数据库。

2、hive：结构化数据的分析工具，类似于sql语句，底层使用的是hadoop。

3、spark：实时的大数据处理框架。

4、zookeeper：分布式统一协调组件（保证数据的一致性）

5、sqoop：数据的传输工具。可以把mysql中的数据导入到hadoop中，也可hadoop中数据导出到mysql中。

6、flume：实时的日志数据采集工具。

hadoop介绍

​ hadoop是一个开源的、可靠地、可扩展的分布式计算框架，主要解决海量数据的存储问题和分析问题。

​ hadoop的创始人是Doug Cutting，底层是java语言编写的，主要参考的是谷歌三大论文：GFS、MapReduce、bigtable。分别写出了HDFS、MapReduce、Hbase。

hadoop的优缺点

优点：

​ 1：高可靠性：多副本存储，在一台服务器出现问题时，其他副本节点可以重新分配数据。

​ 2：高扩展：采用集群处理，有数以千计的节点。

​ 3：高效性：MapReduce思想是并行工作，可以提高任务的处理速度。

缺点

​ hadoop的缺点是不能进行实时处理，一般作离线处理。

hadoop的架构组成

​ 1：HDFS：分布式文件系统

​ 2：MapReduce：分布式离线并行计算框架

​ 3：Yarn：分布式云操作系统