大数据理论初步学习

重构系统之大数据学习

零碎理解

三体系：Hadoop(1.0) -> Spark(2.0) -> Spark+New(Flink) (3.0)

背景

最开始公司均使用RDBMS
拥有海量数据的公司++
大数据技术出现
导致开始有公司使用Hadoop来存储海量数据 

Hadoop

Hadoop=Hadoop Distributed File System （HDFS）[存储] + MapReduce (批量计算引擎）[处理] 
 但不适合小文件存储	[NameSpace块过多浪费，内存使用率低]
 随机读取能力弱		[e.g.获取第200个数据]

HBase

HBase[列式数据库]       
 ✔用于存储结构化&半结构化の松散数据	[MySQL可存，文本可存]
 ✔可用于实时读写					[挺好一特性]
 
 ✖建立在HDFS基础之上				[HDFS强依赖]
 ✖仅支持依据主键查询&单行事务		[主键查询体感好弱]
 ✖不支持join等复杂操作 			[NoSQL通病]
 ✖没有类型，只支持byte[]类型		[hadoop系列，横向拓展特攻]
                            
HBase表特点:
	1.大[十亿行，百万列]
	2.面向列