第十一章大数据技术与实践

最新推荐文章于 2022-01-10 14:56:44 发布

weixin_45963435

最新推荐文章于 2022-01-10 14:56:44 发布

阅读量217

点赞数

本文链接：https://blog.csdn.net/weixin_45963435/article/details/103377718

版权

本文详细介绍了大数据的定义与4V特征，包括Volume（数据量大）、Variety（数据类型多）、Velocity（处理速度快）、Value（价值高）。接着讲解了大数据存储平台，如HDFS、HBase、Cassandra和Redis的特性和应用场景。此外，还讨论了MongoDB作为文档型数据库的优势。最后，探讨了两种重要的大数据计算模型PRAM和BSP，分析了它们的优缺点和适用范围。

摘要由CSDN通过智能技术生成

第十一章大数据技术与实践

一、大数据概述
（一）大数据的定义：大数据的“大”是相对而言的，是指所处理的数据规模巨大到无法通过目前主流数据库软件工具处理，在可以接受的时间内完成抓取、存储、管理和分析，并从中提取出人类可以理解的信息。
（二）大数据的4V特征：
1、volume（数据量大）
2、veriety（数据类型多）
3、velocity(处理速度快）
4、vlue(价值高）
二、大数据存储平台
（一）HDFS：是一款具有高容错性的分布式文件系统，可以部署在造价低廉的主机集群上。
HDFS的设计目标：
1）检测和恢复硬件故障；
2）存储大数据集；
3）应用程序流式地访问HDFS上的数据集；
4）由于大部分MapReduce程序对HDFS上的文件是一次写入、多次读取的，古HDFS只需提供文件的创建、删除、写入、读取功能，不需要提供文件的修改功能，因此也降低了HDFS在数据一致性方面的设计难度；
5）可移植性；
6）让计算随数据的位置而移动。
（二）HBase:HBase可以对大数据进行随机、实时的读取和写入操作。
HBase的特性：
1）线性和模块化的可扩展性；
2）严格的读写一致性；
3）自动且可配置的数据表分片机制；