大数据技术与实践总结

最新推荐文章于 2021-09-23 16:30:02 发布

Leozonemxy

最新推荐文章于 2021-09-23 16:30:02 发布

阅读量1.6k

点赞数

本文链接：https://blog.csdn.net/Leozonemxy/article/details/103371915

版权

本文总结了大数据的定义和4V特征，深入探讨了HDFS的分布式文件系统特性，HBase的实时读写能力，Redis的高性能内存数据库特点，以及MongoDB的文档型数据库优势。这些技术在大数据处理中发挥关键作用。

摘要由CSDN通过智能技术生成

大数据技术与实践总结

大数据概述
- 大数据的定义
- 大数据的4V特征
HDFS
HBase
Redis
MongoDB

大数据概述

大数据的定义

大数据一词由英文“big data”翻译而来，是最近几年兴起的概念，目前还没有一个统一的定义。相比于过去的“信息爆炸”概念，它更强调数据量的“大”。大数据的大是相对而言的，是指所处理的数据规模巨大到无法通过目前主流数据库软件工具处理，在可以接受的时间内完成抓取、存储、管理和分析并从中提取出人类可以理解的信息。

大数据的4V特征

Volume（数据量大）
Variety（数据类型多）
Velocity（处理速度快）
Value（价值高）

HDFS

HDFS（Hadoop Distributed File System）原是Apache开源项目Nutch的组件，现在成为Hadoop的重要组件。它是一款具有高容错性的分布式文件系统，可以部署在造价低廉的主机集群上。它将一个大文件拆分成固定大小的小数据块，分别存储在集群的各个结点上，因此HDFS可以存储超大的数据集和单个巨大的文件。这样的分布式结构能够进行不同结点的并行读取，提高了系统的吞吐率。同一个数据库块存储在不同的数据结点上，从而保证HDFS在结点失败时还能继续提供服务，使其具有容错性。