大数据概述

猪易烦

已于 2023-12-09 21:44:36 修改

阅读量1.6k

点赞数 34

分类专栏：大数据技术文章标签：大数据

于 2023-12-09 21:25:25 首次发布

本文链接：https://blog.csdn.net/weixin_55516406/article/details/134901101

版权

3 篇文章 0 订阅

订阅专栏

@author Zenos

行百里者半九十

我们身处信息爆炸的时代，互联网的高速发展使得数据成倍递增。据IDC预测，全球数据圈将于2025年增长到175ZB。面对日益增长的数据，我们又该如何存储、并利用他们？我们常听到的大数据技术也就是这个问题的解决方案。

20190313041810713

大数据的特点可以概述为5V特性：

数据采集（Data Ingestion）
- 技术框架
  
  Flume、Kafka、DataX、Sqoop等。
- 描述
  
  将数据从源系统抽取、传输到大数据系统中，确保数据的可靠性和完整性。
数据存储（Data Storage）
- 技术框架
  
  HDFS、HBase等。
- 描述
  
  将采集到的数据存储在分布式文件系统或分布式数据库中，以便后续处理和分析。
数据处理（Data Processing）
- 技术框架
  
  MapReduce、 Spark、Flink等。
- 描述
  
  使用批处理或流处理框架执行数据处理任务，包括数据清洗、转换、聚合和计算。
数据分析（Data Analytics）
- 技术框架
  
  Hive、TensorFlow等。
- 描述
  
  运行机器学习算法或其他分析工具，以发现数据中的关联和趋势，提取有用信息。
数据可视化（Data Visualization）
- 工具
  
  Tableau、FineBI、Power BI等。
- 描述
  
  创建图表、仪表板和报表，将分析结果以可视化的方式呈现，以便用户可以直观地理解数据分析的结果。