大数据相关技术

最新推荐文章于 2023-07-01 17:15:36 发布

suchang_csdn

最新推荐文章于 2023-07-01 17:15:36 发布

阅读量2.4k

点赞数 1

分类专栏： BigData 文章标签：大数据

本文链接：https://blog.csdn.net/suchang1127/article/details/49372761

版权

BigData 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

大数据

“大数据”是一个体量特别大，数据类别特别大的数据集，并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。
“大数据”首先是指数据体量(volumes)大，指代大型数据集，一般在10TB规模左右，但在实际应用中，很多企业用户把多个数据集放在一起，已经形成了PB级的数据量；其次是指数据类别(variety)大，数据来自多种数据源，数据种类和格式日渐丰富，已冲破了以前所限定的结构化数据范畴，囊括了半结构化和非结构化数据。接着是数据处理速度（Velocity）快，在数据量非常庞大的情况下，也能够做到数据的实时处理。最后一个特点是指数据真实性（Veracity）高，随着社交数据、企业内容、交易与应用数据等新数据源的兴趣，传统数据源的局限被打破，企业愈发需要有效的信息之力以确保其真实性及安全性。

大数据分析

从所周知，大数据已经不简简单单是数据大的事实了，而最重要的现实是对大数据进行分析，只有通过分析才能获取很多智能的，深入的，有价值的信息。那么越来越多的应用涉及到大数据，而这些大数据的属性，包括数量，速度，多样性等等都是呈现了大数据不断增长的复杂性，所以大数据的分析方法在大数据领域就显得尤为重要，可以说是决定最终信息是否有价值的决定性因素。基于如此的认识，大数据分析普遍存在的方法理论有哪些呢？

可视化分析

可视化分析能够直接体现出大数据的特点，同事能够容易的被读者接受，如同看图说说话般简单。

数据挖掘算法

大数据分析的理论核心就是数据挖掘算法，各种数据挖掘的算法基于不同的数据类型和格式才能更加科学的呈现出数据本身具备的特点，也正是因为这些被全世界统计学家所公认的各种统计方法（可以称之为真理）才能深入数据内部，挖掘出公认的价值。另外一个方面也是因为有这些数据挖掘的算法才能更快速的处理大数据，如果一个算法得花上好几年才能得出结论，那大数据的价值也就无从说起了。

预测性分析能力

大数据分析最终要的应用领域之一就是预测性分析，从大数据中挖掘出特点，通过科学的建立模型，之后便可以通过模型带入新的数据，从而预测未来的数据。

语义引擎

大数据分析广泛应用于网络数据挖掘，可从用户的搜索关键词、标签关键词、或其他输入语义，分析，判断用户需求，从而实现更好的用户体验和广告匹配。

数据质量和数据管理

大数据分析离不开数据质量和数据管理，高质量的数据和有效的数据管理，无论是在学术研究还是在商业应用领域，都能够保证分析结果的真实和有价值。大数据分析的基础就是以上五个方面，当然更加深入大数据分析的话，还有很多很多更加有特点的、更加深入的、更加专业的大数据分析方法。

大数据技术

大数据处理所用到的基本技术有：
1. 数据采集，ETL工具获取的数据是联机分析处理和数据挖掘的基础
2. 数据寄存，关系数据库
3. 基础架构，云存储、分布式文件存储
4. 数据处理，自然语言处理
5. 统计分析，多种分析方法
6. 数据挖掘，分类、估计、预测、聚类、关联规则、描述和可视化
7. 模型预测，预测模型、机器学习、建模仿真
8. 结果呈现，云计算、标签云、关系图

一种成功的技术，需要一些衡量的标准。我们可以通过几个基本要素来衡量一下大数据技术，这就是——流处理、并行性、摘要索引和可视化。