大数据时代的思考

蓝魔Y

已于 2024-02-28 09:57:26 修改

阅读量558

点赞数

分类专栏：大数据文章标签：大数据

于 2023-04-12 14:46:25 首次发布

本文链接：https://blog.csdn.net/weixin_38938108/article/details/130106353

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章探讨了大数据时代的特点，包括规模性、多样性和高速性等，以及由此带来的数据分析挑战，如I/O瓶颈、性能下降和时效性问题。文章提到了传统分析系统的局限，如行式数据库的效率问题和MPP架构的扩展性限制。此外，还讨论了云环境中的资源壁垒，如平台迁移和调度监控。最后，文章暗示可能的解决方案在于更先进的数据库技术和云策略。

摘要由CSDN通过智能技术生成

参考文档：https://www.360docs.net/doc/a913738881-4.html

1、概念简介

随着互联网、移动互联网和各种智能终端的极速发展，各种数据无时无刻地生成，新数据的产生呈大爆炸趋势，人们也称当前为一个大数据时代或数字化时代；数据的价值逐步被重视和挖掘。大数据具备一些比较显著的特征：
1）规模性（Volume）
2）多样性（Varity）
3）高速性（Velocity）
4）价值性（Value）

2、应用场景

2.1、面临的挑战

1）法规要求必须保留更长时间的历史数据，以便更多的历史数据中更有效地分析各种业务变化的历史趋势，为未来业务发展提供科学依据；
2）企业的各种部门都需要对原始数据进行深入分析和挖掘，以便即时改进业务决策。

数据井喷式的增长，也给目前传统的分析系统带来了巨大挑战：

A：数据越来越多，超越了传统数仓的I/O极限；
B：分析查询性能低下，相应时间由原来的秒级延长到小时级甚至天；
C：传统分析系统无法基于海量数据进行数据分析和价值挖掘；
D：数据分析无法满足时效性要求，降低了数据的利用率；

高并发下的解决方案

IO瓶颈 + 扩展能力

3、架构设计

当然，某些传统分析数据库产品也意识到了行式数据库在分析领域的弊端，在行式数据库的基础上增加一些列式存储和压缩特性，以降低I/O消耗。然而，由于其执行引擎仍然是行式的，在执行查询的过滤、关联、分组等操作之前，仍然要把读出的列解压缩并组成行，对内存和CPU的消耗依旧很高，在大数据面青所获得的性能提升也比较有限。

某些传统分析数据库产品摒弃了传统的共享磁盘架构而采用MPP架构来增强水平扩展能力。然而，由于它们继承了传统数据库的执行引擎，仍然需要一个主节点来分析SQL语句、制定执行计划等，造成了主节点成为单点故障点和水平扩展障碍，线性水平扩展能力仍然有限。