第十一章、大数据技术与实践

第十一章、大数据技术与实践

大数据特征

• 数据量大
• 数据类型多
• 处理速度快
• 商业价值高

大数据的存储相关技术,

目前大数据的技术主要是Hadoop体系下的一系列技术.

• 大数据存储是基于HDFS分布式文件系统,可将数据块分别存储在不同服务器上,所以可以并行读取数据.
• MapReduce是大数据的一种计算模型,也是一个框架名,之前已经在<<第八章、云计算原理与技术>>讲过,就不多赘述了.
• 大数据中的数据库使用分布式数据HBase(列族数据库)
• Redis是一款高性能的KV数据库,在目前的web应用开发和大数据开发中被普遍用作缓存.
• Mongo DB,文档数据库,可用来存储数据量大,数据种类繁多的数据,普遍用于日志存储等对于数据一致性要求较弱的场景.