大数据概况及hadoop生态系统

一.大数据基本概念和特征

1.什么是大数据？

大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。

2.大数据特征

（1）4V特征
Volume(大数据量)：90% 的数据是过去两年产生
Velocity(速度快)：数据增长速度快，时效性高
Variety(多样化)：数据种类和来源多样化
结构化数据、半结构化数据、非结构化数据
Value(价值密度低)：需挖掘获取数据价值
（2)固有特征

​ 时效性
​ 不可变性

3.分布式计算

分布式计算将较大的数据分成小的部分进行处理

二.Hadoop

1.概念

Hadoop是一个开源分布式系统架构，包含：分布式文件系统HDFS——解决大数据存储，分布式计算框架MapReduce——解决大数据计算，分布式资源管理系统YARN

2.hadoop优点

（1）高扩展性，可伸缩

（2）高可靠性：多副本机制，容错高

（3）低成本

（4）无共享架构

（5）灵活，可存储任意类型数据

（6）开源，社区活跃

3.Hadoop vs. RDBMS

** **	RDBMS	Hadoop
格式	写数据时要求	读数据时要求
速度	读数据速度快	写数据速度快
数据监管	标准结构化	任意结构数据
数据处理	有限的处理能力	强大的处理能力
数据类型	结构化数据	结构化、半结构化、非结构化
应用场景	交互式OLAP分析ACID事务处理****企业业务系统	处理非结构化数据****海量数据存储计算

4.Hadoop生态圈

（1）hadoop核心

​ HDFS, MapReduce, YARN

（2）数据查询分析

​ Hive，Pig，Impala࿰