数据分析之大数据分析

一 什么是大数据分析

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的特点可以概括为5个V：数据量大（Volume）、速度快（Velocity）、类型多（Variety）、价值（Value）、真实性(Veracity)。面对如此庞大又难处理的的数据集合，应运而生的便是大数据分析了。

大数据分析是指对规模巨大的数据进行分析，挖掘数据的有利信息并加以有效利用，将数据的深层价值体现出来。从大数据的特点可以看出，没有一套可靠的数据分析方法和数据分析工具是不可能完成大数据分析的。有了大数据分析产品才能让规模巨大的数据有条有理，正确分类，产生有价值的分析报告，从而应用到各领域中，促进其发展。

二 spark框架与大数据产品对比

1 spark框架

Apache Spark 是一种用于大数据工作负载的分布式开源处理系统。它使用内存中缓存和优化的查询执行方式，可针对任何规模的数据进行快速分析查询。它提供使用 Java、Scala、Python 和 R 语言的开发 API，支持跨多个工作负载重用代码—批处理、交互式查询、实时分析、机器学习和图形处理等。您会发现各行业的众多组织都使用它，其中包括 FINRA、Yelp、Zillow、DataXu、Urban Institute 和 CrowdStrike。Apache Spark 已经成为最受欢迎的大数据分布式处理框架之一，在 2017 年拥有 365000 名会定期参加聚会的会员。

**优势:**spark是目前主流的大数据开发框架，市场占有率非常高，同时spark具备着快速，易用，通用等特点，其实也就是Spark作为大数据处理框架的优势所在，尤其是在大数据实时计算方面，Spark具有不可替代的优势，也可以与Hadoop协同工作，共同完成大数据处理任务。

**劣势：**入门门槛高，技术人员的水平参差不齐，也需要一定的学历，学习成本非常高。

2 大数据分析产品

帆软是一款利用计算机图形学，图像处理及大数据技术，实现的超越BI的新一代大数据分析可视化平台。通过图形化拖拽，配置的方式，快捷，多样化，智能，炫酷地设计出可视化页面，呈现数据之美，洞察数据的价值。

帆软具有spider大数据引擎，对于大数据量的分析可以很快速地响应，支持本地模式和直连模式。其实上过BI的企业都应该知道，大数据BI分析工具最重要的就是稳定性，没有稳定性，一切都是白搭。

同时在OLAP多维分析方面，FineBI做的比较全面，钻取、联动、旋转、切片、跳转都可以进行快速设置，功能非常强大。

同时计算分析能力方面，例如用户想做类似同期环期、同比环比的快速计算，无法直接得出结果，需要用户书写一些函数才能计算出相关结果。

而FineBI为用户直接提供了快速计算的功能，包括求同期/环期、同比/环比、排名、累计值、所有值、百分比计算等等。

三 总结

随着若干新兴技术的发展，数据存储、采集、处理、数据安全等成为国家重点扶持项目，这为大数据分析等相关细分产业，提供了广阔的赛道。
据数据统计，我国大数据市场规模由2017年的13.2亿元快速增加至2021年的43.8亿元，预计2026年，将达到236.9亿。大数据分析已逐步成为大数据产业链的最后一公里。把握住帆软大数据分析就等于把握住这最后一公里。帆软大数据分析产品在近几年中发展很快,而帆软finebi产品是其中的佼佼者。