大数据基础知识及分布式存储原理

最新推荐文章于 2022-10-22 08:26:34 发布

thyyyyyyy

最新推荐文章于 2022-10-22 08:26:34 发布

阅读量758

点赞数

分类专栏：大数据学习文章标签：大数据 hdfs

本文链接：https://blog.csdn.net/thyyyyyyy/article/details/82990891

版权

大数据学习day01

什么是大数据(Big Data)
- 大数据概念
大数据技术：
- - 分布式存储
  - 分布式计算
分布式存储

什么是大数据(Big Data)

大数据概念

大数据是指海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理时间内获取、存储、管理、处理并提炼以帮助使用者决策。
短时间内快速的产生海量的多种多样的有价值的数据。

大数据技术：

分布式存储

分布式计算

分布式批处理
攒一段时间的数据，然后再未来某一个时间来处理这批数据
分布式流处理（实时处理）
数据不需要积攒，直接处理，每产生一条数据，立马对这条数据进行处理，将结果推送到前端，如双十一的天猫大屏幕，qq实时在线分布情况
机器学习

分布式存储

HDFS

HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的高容错、高可靠性、高可扩展性、高获得性、高吞吐率等特征为海量数据提供了不怕故障的存储，为超大数据集（Large Data Set）的应用处理带来了很多便利。